最終更新日: 2023年11月25日
2023年8月に行われたCEDEC2023スポンサーセッションにて、弊社取締役CTOの松木が登壇いたしました。『「品質管理に、革命を。」の本当のところ。これから興るゲームQAの破壊的技術。汎用エージェントの取り組み』と題した講演内容をお届けいたします。
「品質管理に、革命を。」の本当のところ。これから興るゲームQAの破壊的技術。汎用エージェントの取り組み
AIQVE ONE株式会社の松木です。よろしくお願いいたします。
「品質管理に、革命を。」は、これからご紹介する「Playable!」というソリューションを開発した弊社、AIQVE ONEのキャッチフレーズです。
私たちは本気で「品質管理に、革命を。」ということを考えています。また、「ゲームQAの破壊的技術」というフレーズがキャッチーかなと思っていまして、私たちは本気で、これはいけるんじゃないかと考えています。
それを表現する1つの例として「Playable!」があり、ちょうど今年の春ぐらいから、少しずつ皆さんにお目にかけることができてまいりました。
それでは、「ゲームQAの破壊的技術」というのは本当にあるのかというところを、今日は皆さんに確認いただきたいと思っています。また、動き出したのが今年の6月ごろなので、できたてほやほやなのですが、「汎用エージェント」という非常に面白いものができましたので、ぜひご紹介させていただければと思います。
自己紹介
改めまして、AIQVE ONE株式会社で取締役CTOを務めている松木晋祐と申します。
私はもともとゲームが本当に好きで、趣味でずっとやっているのですが、エンジニアとしてはテストエンジニア、QAエンジニアのキャリアを、二十数年続けています。
元々は組み込みの携帯電話のブラウザ、組み込みブラウザのテストのリードであったり、あと一部は開発系のキャリアも少しやっていたりはしますが、基本の軸はQAテストのエンジニアです。
私たちが本当に伝えたいこと
ここから本編になりますが、改めまして本講演のタイトルは、『「品質管理に、革命を。」の本当のところと、これから起こるゲームQAの破壊的技術、汎用エージェントの取り組み』となっております。ただ実は、私たちが本当に言いたいことはもう少しくどくて、本当はこちらになります。
「品質管理に、革命を。」を、できるだけ早く起こしていかないと、日本のゲームQAが確実に苦しくなっていくので、まず私たちが頑張ってみています。
ただ、くどすぎるし、おそらくCEDECの受付フォームにこんな長いタイトルを書けなかったので少し縮めたのですが、私たちが本当に伝えたいのはここなのです。
日本のゲームの品質管理、QAやデバッグに、できるだけ早く革命・革新を起こしていかないと、日本のゲームのQAは確実に苦しくなっていきます。
確実に苦しくなることがわかっているので、まず私たちが率先して日本のゲームQAを少しでも革新していくための活動をやらせていただいてはいますが、ぜひ、競合他社さんでも一緒にやらせていただければいいなと考えています。
日本のゲームQAがほぼ確実に苦しくなってくる理由
では、日本のゲームQAが確実に苦しくなっていくとは具体的にどういうことなのかをみていきます。政府の調査によると、まず、2030年までに日本の人口が10%減ると言われています。ただし、これは平成24年のデータなので、実際にはこの見込みは甘く、もっと減るとされています。労働人口においては20%以上減る可能性があると言われています。
もちろん、これはゲームQAだけではなく開発も同じことが言えますが、今の日本のゲームデバッグでは、状況が深刻なのです。
現在、日本のゲームデバッグでは、ある一定の時期にデバッグ会社さんにお願いして、たとえば10人とか20人とか人をたくさん集めて、いっぺんにゲームのプレイテストをさせるというのが基本になっていると思います。実は私たちはそのプレイテストを請け負っている側でもあるのですが。
しかし、わずか7年後には、今まで10人調達できていた会社が9人しか物理的に用意できなくなります。
「なんだ、1人ぐらい大丈夫じゃないか」と思われるかもしれません。
しかし今のゲームデバッグではまた別の問題もあるのです。
今のゲームデバッグの従事者は、20代・30代の若い人が中心になります。これは歴史的な構造で、誰が悪いわけでもないのですが、ゲームデバッグは基本的に若いうちに従事する職業という形になっています。
もちろんその一方で、本格的なQAや品質保障の部門の方というのはまた別の職種としてキャリアを確立されておられると思いますが、ことゲームデバッグとなると、一生の仕事にしようとする人はあまりいないと思います。恐らく、若いうちしかできない仕事だと思われていると思います。
ゲームのデバッグ技術やゲームのタイトル単位のQA技術というものを、業界全体で長期的に育ててこなかったことも原因の一つですし、今後も恐らくそうなってはいかないと思います。
そのためにどうなるのかというと、すでにこの傾向は見え始めているのですが、日本から特に超大規模タイトルやいわゆるAAAタイトルのゲームを出せる本数がどんどん減っています。もちろん1年に何本も出せるようなものではありませんが、海外のベンダーの周期などを見ていると、おそらく日本はこれからどんどん遅れていくのではないかと思います。
物理的に人が減っていくことに加えて、今、XRやライバーなど、ゲームを好きな若者が他に興味を持ちそうなところでもアルバイトなどをたくさん募集されています。
さらに今IT業界は絶望的な人手不足なので、「Excelが使えればいい」と、青田刈りしてしまうという現状もあります。そういった状況で、ゲームデバッグを担える若手を、IT業界全体で取り合うことになることが予想されます。
ただでさえ労働人口が20%減るのに、さらにXRやライバーなど新しくて面白いものが出てきているので、若年人口の取り合いになるのです。もうゲームQAをこのまま維持していくのは無理ゲーなのではないかと思ってしまいます。
「じゃあ、ゲームデバッグをどうするの」っていうところで、ドメイン知識以外にテクニカルスキルを全く求めないというような、一時的につく職業というものから、やはり変革していかなければいけないと思います。ゲームデバッガーからゲームQAというかたちに、変革させていかなければならないのです。
一方で、テクニカルなジョブとして確立させるためには、何らかのアビリティが必要です。何かの技がある、何かの技術があるから、それがジョブとして成立するわけなので、「ゲームQAの技術ってそもそも何なのか」というところをしっかり日本でも確立していきたいと思っています。
たとえば、これは私ともう1人で書いているのですが、ISOの国際規格の方でもそういった取り組みを今始めております。さらにもう1つ、ソフトウェアテストの国際資格のISTQBというものがあるのですが、そこもゲームテストを規格化しようという動きがあるので、それを日本に持ってくるという活動も一つです。
その他にも、海外の国際的なスタジオのパブリッシャーさんが採用されているゲームQAの技術を輸入して、業界を上げてQAエンジニアというものを育成して、技術を継続的に高めていける仕事にしていきたいと考えています。
最近、感動したことがありました。HorizonのHorizon Forbidden West（Zero Dawn vs Forbidden West の続編）というタイトルで、アーロイという主人公が、ゾイドみたいな機械獣を倒すゲームがあります。このタイトルはどこから見ても世界的なAAAタイトルで、その超大作のオープニングムービーに、QAマネージャーがクレジットされていたのです。プレイしたことがある方は、ぜひ見返してみてください。
エンディングにたくさんいるスタッフの1人としてゲームQAが載ることがあっても、オープニングクレジットにQAが載るのはすごいことなのです。私は少なくとも見たことがなくて、非常に感動しました。実際、GDC(Game Developers Conference)でも、彼らは先進的なQAの取り組みを発表されていたりしています。私たちは、そういったものを日本に持ってきたいと考えています。
QAにも良い道具が必要
プロセスの知識であったり、専門の言葉で言うと、テストのアーキテクチャ設計であったり、テストのデザイン設計であったり、そういったものももちろん必要なのですが、彼等もそうですが、基本的にプロフェッショナルな技術者は良い道具を使います。
プログラマーであっても開発であっても、最近のゲーム開発ではUnityやUnreal Engineという素晴らしい道具が出てきています。
実際各社さんはエンジニアに対して、良い道具を与えています。昔みたいに直接グラフィックボード叩けとはあまり言わないですよね。優れた技術者や優れた職人には、優れた道具を与えてあげないと能力をフルに発揮してもらえません。
わかりやすい例で言うと、高いお寿司屋さんにお寿司を食べに行って、職人さんが中華包丁で魚を切っていたら嫌ですよね。「良いお寿司屋さんは良い道具を使っている」と暗黙に期待していると思います。
同様に、開発者もQAも良い道具を使わなければいけません。
開発者の方は、道具が少しずつ揃ってきました。「じゃあ、良いゲームQAエンジニアが使う道具って何ですか」という問いに、今はなかなか答えられないと思います。各種スプレッドシートなどはでてくると思いますが、そのぐらいだと思います。あれはあれでいいのですが、やはり私たちはゲームQAも良い道具を使ってほしいと考えています。
そこで、私たちはQA用の道具を企画開発、提供するということもしています。
ちなみに会場には弊社の営業もいて、あとで怒られるかもしれませんが、私の本音をいうと、この道具で儲けるつもりはあまりありません。それよりもゲームQAの業界全体が良い感じになってくれれば、いつか回り回って私たちにも何かあるでしょうって思っています。そのため私たちが作った道具は、全然高くありません。びっくりするほど安いです。今日はその道具の一例と、その道具を活用した未来のQAみたいなものをご紹介していきます。
ゲームQAのための道具の一例：「Playable！」
その道具というのが、「Playable!」というソリューションになります。
ソリューションのコンセプトは、「ゲームQAをより高度に、より迅速にし、クリエイターの挑戦の機会を増やす」というものです。これはゲームのQAが高度になればなるほどできることと全く同じです。
普通に考えると、QAはボトルネックになりがちです。
QAが入るのは最後の追い込みの段階だと思いますが、「レベルをちょっといじったので、コリジョンテストをもう一回全部やってください」「ちょっと進行のフラグを変えたので、プログレッションブレイクが起きないかどうか確認してください」など、こういったテストをQAにお願いしてから返ってくるまでの時間が短ければ短いほど、開発の最終局面での最後の調整、試行錯誤の機会が増えるのではないかと思います。QAが早く戻せば、早く次のトライができるからです。このソリューションや私たちが目指す高度なゲームQAによって、ゲームの開発者、クリエイターの挑戦の機会を増やしていきたいと思っています。
ゲームに限らず、QAというのは生産技術の一つです。モノづくりの成熟度の話になるのです。なので、そこで負けると全部負けてしまいます。ポジショントークではありますが、厳然たる事実です。
モノづくりがうまくなれば、もっと早く作れる、もっといいものが作れることになるので、そういった道具を提供したいと思っています。
では、具体的に何ができるのかをご紹介していきます。
やはり一番時間がかかり、手でやるのが一番アホらしいと思っているのがコリジョンチェックです。
ひたすらコントローラーを持って壁に当たり続ける。次はジャンプでやってみる。次は剣を振ってみるとかですね。全ての壁、衝突性に対して今、人間が手でテストしていますが、これは人間がやることではないと思います。
もちろんエキスパートデバッガーなどの方が、ポリゴンやシェーダーの継ぎ目などを狙っていくのはいいのですが、全ての壁に当たり続けるというのは、人間がやらなくてもいいことだと思いますので、コンピューターに全て代替させたというのがこちらのソリューションになります。
人間の頭数は必要なくなりますが、コンピューターの頭数は必要になります。なので、クラウド上にインスタンスを確保して実行してもらう形になりますが、基本的に3Dで壁があるタイトルであれば対応できます。
実際に、ある有名タイトルでご利用いただいて、リリース前に200件近いコリジョン抜けと奈落落ちを見つけてくれまして、非常に感謝されています。
次に、プレイスルーです。ゲームの始めから終わりまでのプログレッションブレイクの発生が起きていないかを確認するテストになります。いわゆる通しプレイです。何らかのビルドのタイミングでは、やっておきたいテストです。
これもQAやデバッグ会社さんにお願いすると、何時間、何日とかかかって返ってくるものになりますが、開発者の隣のパソコンでずっと通しプレイをやっておいてもらうということが可能になります。
そして、アイテム回収です。アイテムを経路探索して、回収不能なアイテムがないかを探してくれる機能になります。これはゲームのフィーチャーによっては使えないケースも出てくるかもしれませんが、これはもともと、『ひたすら何々系』のインスタンスの1つなので、「ひたすらレベルを上げ続ける」とか、「ひたすらこの敵を倒し続ける」などのテストタイプが必要な場合は、そのままご利用いただけるものです。
こういったツールを使うと、今までスプレッドシートとにらめっこしていたのが、ログの解析でいろいろなバグがわかるようになるなど、若干テストのレベルが上がるイメージを掴んでいただけるのではないかと思います。
もちろんSlackに通知したり、イントラの中にウェブサーバーを立てて画像を表示したりといったこともできます。
汎用エージェント、始動
そして、今日一番話したかったのがここです。一番面白いものを持ってきました。
先ほどお話ししたHorizon Forbidden West の1つ前、Horizon Zero Dawnの開発元であるゲリラゲームズさんのQAは、人手でも一応探索的テストはやっているのですが、それとは別に無数のBotを野に放って、そのBotに様々なタスクをさせて、その結果をログでもらってテスト結果を確認するという高度なテストも行っています。
私たちは今回、その斜め上のアプローチとして、汎用エージェントというものを作りました。
こちら、見たことのあるようなUIだと思いますが、自然言語で何かを打ち込むと、いろいろな黒魔術が発火した結果、ゲームが動くというものを作っています。
これの何が嬉しいのかというと、人間の手を介さずに、「文字列」でテストができるようになるのです。そうすると、1人のテスターさん、1人のテストエンジニア、デバッガーさんが100台のエージェントを使って一遍にテストさせ、その結果だけをもらうという、超並列テストのようなことが可能になります。これが恐らく、今までなしえなかったイノベーションの一つだと思います。
究極のところ、今までのテストケースがExcelで管理されていれば、そのExcelのテスト手順を食べさせれば動く可能性があります。夢がありますね。
一方で、まだまだいくつかの課題はあります。
自分たちが作ったサンプルゲームに向けて最適化しているので、実際に入れると動かない箇所があるというようなことはあると思っています。私たちも何でもこれでいけるとは思っていません。ですので、いくつかお話をいただいているのですが、さらに一緒にこれを試させていただける会社様を募集しております。
今までのゲームのテストは、特に日本においては「勇者：テストリーダー」がいて、「戦士：デバッガー」がいて、「武道家：エキスパートデバッガー」がいてといったように、割と前衛系の人たちで構成されていたと思います。ここに、「魔法使い：Playable!」が足せるようになるとイメージしていただけるとわかりやすいのではないかと思います。
1対１のテスト、細やかなテストというのは今後も必要です。なので、「魔法使いがいたら戦士はいらない」という話にはなりません。一定程度ゲームを経験している人であればわかると思いますが、魔法使いには魔法使いの、戦士には戦士の役割がありますので、それぞれで役割分担ができるようになります。
逆に言うと、今までのパーティーには魔法使いがいなかったんです。だから、ひたすらヘッドカウントと時間をかけてテストするしかありませんでした。
ところが魔法使いを入れると、「この局面は、もう魔法使いでいいんじゃないか」というシーンが出てきます。パーティーに魔法使いを加えられるということをイメージしていただけると、私たちがやりたい未来が少しずつ理解いただけるかなと思います。
ちなみに汎用エージェントはまだなのですが、「Playable!」は、コリジョンチェック、プレイスルー、アイテムコレクターの3つに関しては、もう既にご利用いただける状態になっています。ただ「ご利用いただけます」と話すのがいつも心苦しいのですが、動くのは動きますが、現状、ご自身のタイトルに組み込んで動かしていただくまでのハードルが割と高いという状態です。今、このハードルをどれだけ下げられるかということを開発チーム一同、むちゃくちゃ頑張っています。
ただ「ハードルが下がるのを待っていられない、もう明日から使いたい」というお客様、皆さん、開発者の方がおられましたら、ぜひ、お声がけください。私たちも使っていただきたいので、全力で私たちがフォローします。一緒にやらせていただけたら嬉しいです。
最後に、ビジネスは大事ではありますが、それ以前にAIQVE ONEの社長も私も営業もみんなゲームの大ファンなんです。
ゲームが本当に好きで、ゲーム業界が良くなると、私は個人的に得をするので、個人的なモチベーションとしても、いろいろとやっていきたいと思っております。
ということで、少なくともテクノロジーの面では業界をリードしていきたいと思っていますので、業界をリードする「QAテックカンパニー」AIQVE ONEと、今日ご紹介した「Playable!」を今後ともよろしくお願いいたします。
本日はありがとうございました。
「Playable!」の詳細はこちらからご覧ください
https://playable.qa/
「Playable!」の開発ストーリーは以下に掲載しております。ぜひご覧ください。
https://prtimes.jp/story/detail/Gx01E9UmMDr