SmartTest AI自動テストサービスの特長

• スピードと拡張性：
  複数のセットアップで複数の試験項目を迅速に行うことができます。
• 再現性と一貫性：
  ヒューマンエラーなく試験を実施することができるため、などの再現性を精度高く求めることができます。
• 試験範囲と複雑なシナリオ：
  デバイス、世代、オペレーティングシステムなど、細分化されたモバイルエコシステムによって生み出される何千もの組み合わせをテストすることができます。
• 調査と故障診断：
  断続的な問題を発見し、問題の再現に必要な複雑なイベントのシーケンスを提案し、障害発見、バグ修正、修正内容の検証を可能にします。
• ロバスト性と信頼性：
  正確な加速劣化試験、高順列試験、ランダム化された人間との相互作用やバリエーションにより、より堅牢な製品開発に貢献します。

手動テストと自動テストの比較

構成

ユースケース① 電話帳の転送時間と精度の向上を実現

• 課題：量産の前段階で、自社のインフォテインメント システムが 1000 を超える連絡先を仕様制限内で正しくダウンロードできるかどうかを確認したい。
• 試験内容：生産はグローバル展開される為、世界的なカバレッジをシミュレートするには 200 台以上の電話機が必要。 1000 件を超える電話帳が携帯電話にロードされ、そのデータの転送が携帯電話orインフォテインメント システムから開始される。 各連絡先の詳細が転送され、正しく表示されたかどうかが検証を行う。

• 試験手順： 
  ①携帯電話はインフォテインメント システムをペアリング。
  ②電話帳の転送時間は、Bluetooth メッセージをOTA（Over The  Air）でキャプチャし、リアルタイムで分析することで測定。
  ③インフォテインメント画面のビデオも同時に録画され、ユーザが経験した見かけの転送時間を測定。インフォテインメント システムの手動起動とパワーサイ       クルの両方を反映するため、電話帳転送プロセスを繰り返し、車両への乗車をシミュレートした。
  ④ 最後に、ロボットアームとビジョンシステムを使用して、携帯電話がインフォテインメントリストから削除。次に、次の電話機がテストされる。
•  結果：電話帳の転送ごとに、SmartTest 自動テスト サービスによって転送の完全性と正確性の検証が可能となった。インフォテイメントの画面のビデオ録画は、電話帳が完全にインフォテインメント システムに転送されたことを確認するために使用された。ロボットアームが転送された電話帳をスクロールすると、OCR システムは文字 (韓国語、中国語、日本語、アラビア語を含む複数の言語) が正しく表示されることを確認した。電話帳の整合性は、Bluetooth パケットの無線キャプチャの後処理データ分析を使用して検証された。自動化された根本原因分析により、データの不規則性が電話帳転送の問題の原因となり得るのかを判断できるようになった。

引用資料
Teledyne LeCroy Frontline社：Verifying Product Performance

ユースケース② ペアリング時間の短縮を実現（大手OEM自動車メーカのユーザ満足度向上）

• 課題：乗車後、携帯電話が無線で使用できるようになるまでに時間を要するというクレームを受けて改善をしたい。
• 試験内容:この多段階プロセスの最初のステップは、クライアントの顧客から報告された問題を再現することであった。 この問題は、さまざまな年代のさまざまなデバイスで発生すると報告されているため、テストにはさまざまな携帯電話やその他のモバイル デバイスが必要となる。 我々が所有するデバイスは2500台を超える携帯電話やその他モバイル デバイスのほか、数百の車種を表すインフォテインメント システムが含まれる。収集されたデータは根本原因分析に利用され、問題の完全な性質と原因を評価し、状況を改善するための推奨事項を提供する。 プロジェクトの最終段階では、複数の競合他社の分析を実行して、パフォーマンスの比較が可能。 この試験では、自動車と自動車キットのライブラリを利用して、接続パフォーマンスの競合分析を生成することとした。
• 試験手順：
  ①問題を徹底的に調査するには、問題を再現するだけでなく、必要な回数だけ一貫して問題を再作成する必要があった。 これには、弊社による手動調査を組み合わせる必要がありました。 Frontline テスト サービスの専門家による手動テストと、ロボット アームを用いたSmartTest の自動テストの両方を組み合わせる必要があった。 このプロセス中に、携帯電話が過去に接続したことのある携帯電話を見つけようとして接続しようとするアルゴリズムに問題があることがわかった。
  ②問題の切り分けとして、1,000通りのペアリングのシナリオとユーザーの嗜好性を再現するために、複数のペアリングリストとドアとエンジンのシミュレーターを使って、Smart Testの自動テストを使用した。
  ③このシステムを使うことによってどこで不必要で許容できない遅れが発生しているかが明らかになった。
  ④次に競合の自動車を半自動化テストで試験を行い、業界ベストの車種を特定した。　
• 結果：お客様は現在のインフォテインメント システムと従来のインフォテインメント システムをベンチマークし、このクレームに対応する即時の解決策を作成することができた。また、お客様は、当社の調査結果を使用して、次のサプライヤー仕様の詳細な動作要件を作成し、次の世代のインフォテインメント システムの改善を確実にした。

引用資料
Teledyne LeCroy Frontline社:  Using Hybrid Testing to Increase Satisfaction

ユースケース③ プロファイルの接続時間の短縮を実現

• 課題：車載インフォテインメント システムの良し悪しは、自動車選びのポイントの大事なポイントの 1 つ。車両のデータセンターであるだけでなく、安全な通信を提供する手段としても考えられいる。OEMは競合他社との差別化に熱心であり、クラス最高を目指すという目標が設計と実装プロセスの中心となっている。その取り組みに対応し、Tierインフォテインメント システム メーカは、Bluetooth 接続と相互運用性を向上させる方法を常に模索している。Austin Labs Test Services (3rd party 試験施設 )は、トップレベルの自動車 Tier 1 インフォテインメント メーカに採用され、Android スマートフォンの全体的な Bluetooth 接続時間の測定と改善を支援した。プロジェクトの目標は、電話をかけたりオーディオをストリーミングしたりするための接続時間を、短縮することだった。当該メーカの前世代の製品や競合他社の製品と比較し、改善することだった。
• 試験内容：競争が激化する環境において、このTier 1 サプライヤは、OEMの入札を確実に成功させるため、競合他社よりも先を行きたいと考えていた。 作業範囲には、既存のインフォテイメント システムのパフォーマンスを他の車両のインフォテイメント システムと比較することが含まれていた。 このテストは、現在市場にある幅広い車両およびインフォテインメント システムにわたる電話およびインフォテインメント接続の完全なマトリックスを作成することだった。 これらの車両は、実際の車両環境と全体的な機能を検証するために使用されるベンチ キットの両方でテストされた。Austin Labs Test Services は、電話と車両の両方の大規模な相互運用性デバイス ライブラリを維持し、現実世界の幅広いデバイスにわたるテストを提供する。 メーカは、現在のデバイスのベースラインを使用して、開発中の携帯電話の最新世代をテストし、ドライバーが車両に乗車してから可能な限り最短時間で通話や音声ストリーミングを可能にする接続時間を最適化したいと考えていた。
• 試験手順：
  ①テスト計画を作成して、パフォーマンス測定のための重要なデータを収集。
  ②当社が所有する携帯電話と、テスト用としてまだ一般公開されていないを新機種を使用した。
  ③標準的なパフォーマンスと異常値の結果を示す車両および電話間の接続タイミングを表示して、結果を顧客にレポートをした。
  ④サプライヤーからの最新のシステム更新プログラムを使用して再テストして、障害を回復し、改善を検証した。
  ⑤社内および社外のリソースを通じて車両とインフォテインメント キットを調達した。
  ⑥SmartTest を使用してテストを完全に自動化し、すべての結果を取得して分析しながら、数千の接続/切断シナリオを実行した。
  ⑦Bluetooth スタック パラメータに関する改善のオプションと重点領域についてのコンサルティングを提供した。
  ⑧Tier 1 インフォテインメント メーカ向けに社外向けレポートを作成し、パートナーに新世代のパフォーマンス向上を示すために提供した。

• 結果：テストの全体的な目標は、新世代のインフォテインメント機能におけるパフォーマンスの問題を特定し、接続の問題を改善することだった。 SmartTest は、Advanced Audio Distribution Profile (A2DP) で音楽をストリーミングする時間 (30 秒から 20 秒に、10 秒短縮) とハンズフリー プロファイル (HFP) で通話する時間 (22 秒から 15 秒に7秒の短縮) の両方の全体的な改善を実現させた。 これらはインフォテイメント システムの全体的なオーディオ機能における 3 つの重要なパフォーマンス指標であり、Tier インフォテイメント サプライヤーはその時間を短縮することに成功した。Austin Labs Test Services の知識、経験、専門知識により、この Tier 1 インフォテインメント サプライヤーは、全体的な改善と、現在販売されている他のソリューションに対する自社のソリューションの競合分析を示すことができた。 インフォテインメント システムによって測定される車両全体の満足度の向上により、この改善は JD パワーを通じて車両メーカの全体的なランキングの向上に貢献した。 パフォーマンスの向上により、Tier 1 サプライヤーは大手自動車メーカにとって優先されるソリューションになった。

引用資料
Teledyne LeCroy Frontline社: Improving Performance for Competitive Advantage

デモをご希望の方はこちらからお申込みください

弊社にて実際のロボットアームの実機を使ってデモが可能です。ペアリングした携帯電話から音楽を再生中、かかってきた電話を受けるシナリオをロボットアームにて再現するデモとなります。弊社オフィスまでご足労をいただきますが、実機でのデモをご覧いただくことでよりイメージを掴んでいただけます。

デモをご希望の方は以下ボタンよりお申込みいただき『デモ希望』とご記載ください。