最終更新日: 2022年2月22日
2021年12月16日、第6回目となるAIQVE ONE主催の品質管理をテーマにしたセミナー、QA Tech Nightを開催いたしました。この記事では、株式会社ボルテージの髙橋貞治氏による講演『ボル恋を支えるQAとテスト自動化への挑戦』の第二部『テスト自動化への挑戦』の内容をお届けいたします。
前回の内容についてはこちらの記事をご覧ください。
ボル恋を支えるQAとテスト自動化への挑戦【第一部】『ボルテージのQAの取り組み』
テスト自動化前夜
先ほどのコンテンツ紹介でもありました通り、弊社では以前、ストーリーを通読するなど、ある程度定型的なコンテンツが多かったので、4～5年前から、なんとかして自動化したいということは常々思っておりました。
よくAppiumやSeleniumなどを使い実験的に作ってみて、PCからスマホを操作して通読のテストをするというような、キャプチャを撮ってしっかり通読できているかをあとで確認するということもしていました。
また、自動化をうたっている他社さんのツールの調査等も結構していました。
2017年に、さきほどの、ストーリー再生し自動キャプチャするものが仮運用までいったことがあります。UWSCと、SPSという技術を使ったのですが、工数削減が見込めそうな段階までは進捗していたというところです。
ただ、組織変更など弊社の戦略的なところもあり、本運用まではいくことができず、体制上エンジニアが不在になってしまったこともあり、頓挫となってしまいました。
数年経ちまして、CEDEC2019で、AIQVE ONEさん（旧monoAI technology）との出会いがあり、2つの自動化テストツールを知り、そこで長年のテスト自動化への火が再点灯しました。そのときもテストは相変わらず手動でしていたので、効率化したいというのがありました。また、AIや自動化が盛り上がってきていたので、エンジニアにとってもモチベーションや興味付けとなり、テストだけではなく他の分野でも自動化を行う契機にもなるため、QAグループメンバーだけでなくエンジニアも参画してやってみようという方向性を決めました。そこで2020年、2つのツールを実験的に進めることを決定しました。
2020年1月、某ロボットテストツールを試験導入しました。物理的なガシガシ動くロボットで、物理的なタッチパネルの接触によるテストです。スマホをセットして、タッチパネルをロボットのアームでぽんぽん押してくという、単純と言えば単純なのですが、簡単なスクリプト作成によって、動作検証も実際のアプリで成功しました。『100シーンの恋』というコンテンツでは、ストーリー通読がメインだったので、仮導入まで進むと、ある程度本導入まで進められつつあるという状況でした。
ただ、それだけですとなかなかリクープしない、コストに見合わないというところがありましたので、使いどころを拡大したいということで、夜間に使おうと思ってやってみたのですが、実行してみて翌朝来てみたら動いていないのです。電気が消えていたので光度が足らず、画像認識できないのかなと思い、いろいろライトを導入したりしてみたのですが、なかなかうまくいかない。電気のつけっぱなしも逆にコストに見合わないという面もありましたので、導入は泣く泣く見送りということになりました。
ロボットがガシガシ動いているというのはインパクトがあって、社内的にもいろいろな人が見に来るのは本当に楽しかったです。
テスト自動化導入の経緯
その後、いろいろモリカトロンさんと一緒にやっていくというところになります。CEDEC2019でお話しされていました自動化についてですね。
導入判断の前に試作していただきまして、動きの検証もできたので、導入を決めました。テスト自動化によりテスターの人数をさらに削減したいという狙いもあったので、物理的にテスター人数を削減する計画も、当時のテストリーダーの方にご提案頂きまして、それなら通常テストも含めてテスト体制をまるごとAIQVE ONEさんにお願いしようということで、スクリプト開発、テスト実行を依頼させていただきました。
AIQVE ONEの桑野さんの言葉だったと思いますが、「テストを効率化、品質保証をしっかりしていくことが第一でテスト自動化はその手段の1つに過ぎない」という言葉にすごく惹かれました。
テスト自動化導入 安定化までの時系列
開始から安定化までの時系列になります。
©Voltage Inc. All Rights Reserved
安定化と呼んでいますのは、テスト自動化スクリプトにて本番運用でほぼミスもなくしっかりテストが導入できているという状況を指しています。
2020年の5月に着任いただきまして、開発開始しました。当初は半年ぐらいで、本番導入してテスト人数も削減できるのではないかという予定を立てていたのですが、やはり試行錯誤しました。なかなかうまくいかず、結果、2020年12月に開発完了し、本番導入していこうというところで、1月からいけるのではないかというところだったのですが、ここもやはり本番導入しても安定しませんでした。これにはいろいろな原因があり、それについてはこのあと説明しますが、調整して半年でようやく安定化し、今ではほぼ100％というかたちでテストに活躍しているという状況になっています。