2020年6月に開催された「ASOBINOTES ONLINE FES」に登場して話題となったキャラクター・ミライ小町によるゲームAIを使ったDJパフォーマンス。これにはバンダイナムコの新規オリジナルIPプロジェクト『電音部』にも導入予定の新技術「BanaDIVE™AX」が使われています。「BanaDIVE™AX」はいかにして誕生したのか、開発者であるバンダイナムコ研究所の大久保博さんにうかがいました！
世界規模のフェスをめざして開発された「BanaDIVE™AX」
――「BanaDIVE™AX」は、自動で曲をつなぎ、オーディエンスを盛り上げるDJプレイと3DキャラクターによるモーションやVJなどのパフォーマンスのすべてを行うバーチャルパフォーマンスシステムですが、これはゲームAIを用いたものだそうですね。まずは開発のきっかけを教えていただけますか？
大久保：実はこれまで関わったいろんな経験がきっかけになっているので、簡単に自分の経歴からお話します。僕はナムコ（当時）にサウンドクリエイターとして入社して、さまざまなゲームタイトルの音楽やサウンド技術の開発を担当しました。また、元々クラブに遊びに行くのが趣味で、90年代末からはプライベートでDJ活動もやってきました。そんなふうに、仕事も趣味もずっと音楽に関わってきた人間なんです。
音楽って通常は頭から最後までを通して聴くことを想定してつくられているじゃないですか。「イントロ→Aメロ→Bメロ→サビ」というふうに、基本的には流れる時間軸が決まっていますよね？ でもゲームの場合は、いつどんなシーンが来て、どんなことが起こるか分かりません。そのため、ゲームにおける音楽演出には、プレイヤーの行動にあわせて音楽の構成をコントロールする「インタラクティブ・ミュージック」という手法があります。つまり――。
――場の空気を読んで曲を変えていくというDJの作業自体が、そもそもゲーム演出のインタラクティブ性と相性が良いということですね。
大久保：そういう意味もありますし、音楽をプログラムで制御する技術という点でも、この「BanaDIVE™AX」に繋がる話なんです。ゲーム音響や音楽演出もそうですが、これまでゲームの中で必要とされてきた表現技術、例えば、CGや映像のリアルタイム制御を使って何か新しいことをやりたいとずっと思っていたので、音楽だけでなく映像分野にも興味をもって、いろんなクリエイティブなプロジェクトに参加してきています。
そんな流れもあり、バンダイナムコスタジオ時代にはサウンドチームからビジュアルアートチームへ異動し、モーションキャプチャーチームとアニメーションチーム、新しく立ち上げた映像チームのマネージメントも担当したりもしていました。そこでキャラクターアニメーションに関する技術について、モーションキャプチャとはどういう作業なのか、CGキャラクターの制御とはどういうものなのか等、多くのことを学べたんです。以前から新しいインタラクティブコンテンツを生み出したい欲求があったので、いろいろ組み合わせられたら面白いことができそうだな……と。
それと、バンダイナムコスタジオのモーションキャプチャーチームによる「BanaCAST（※1）」公演と、「コール＆レスポンスStage ドリフェス！ROCKな晩餐会 feat.KUROFUNE（※2）」に関わっていたことも、この開発のヒントとなっています。どちらもCGキャラクターによる公演で、リアルな現場のお客様が楽しむというコンテンツなのですが、これらの現場で「本当にそこにキャラクターがいるんじゃないか？」とお客様が喜ぶ姿を目の前で見てきて、こういったCGキャラクターのパフォーマンスステージの可能性も感じてきました。
※1 モーションキャプチャ技術とリアルタイムCGキャラクタを活用したキャラクターライブ技術。「アイドルマスター」シリーズのMRライブなどにも活用されている。
※2 バンダイナムコ研究所の前進部署であったバンダイナムコスタジオ未来開発本部が開発を担当し2017年に次世代キャラクターカフェ「アニON」で開催したイベント
――なるほど。そうした歴史があって、「BanaDIVE™AX」の開発がある、と。
大久保：はい。そして本格的な開発に移る直接的なきっかけにあたるのは、2019年に東京ドームで開催された第1回目の「バンダイナムコエンターテインメントフェスティバル」ですね。「アソビストア」のブースでミライ小町が期間限定店長をするにあたって、『電音部』の統括プロデューサーでもある石田裕亮さんが『ASOBINOTES』の企画として「ミライ小町で、DJができませんか？」と提案してくれたんです。この時点ではまだAIによる自動化はまったく考えておらず、事前に用意したDJミックス音源にあわせ、「BanaCAST」を使って収録したミライ小町がDJをしている映像を編集して一本の動画にしただけのものだったんですが、公演時のお客様の反応がすごく良かったんです。それで、これを一緒に見ていた上司から「研究所なんだし、このシステムをAIで自動化してみたら？」と言われて、本格的に開発をはじめることになりました。
大久保：当初は、2020年の３月にアメリカテキサス州のオースティンで開催予定だった総合フェスティバル「SXSW2020」での公演を目的に話を進めていたんです。「SXSW※3」は現在ではテック系の見本市的側面もありますが、もともと音楽フェスティバルとして生まれたもので、世界中から新しい音楽パフォーマンスを求めてイベンターが集まる場なんです。そこで、この新しいエンターテインメントを体験してもらえればと考えていたんですが、結局コロナの影響でイベントが中止になってしまって。「せっかく世界をめざして準備したのに……」と落胆していたところ、「ASOBINOTES ONLINE FES」で「BanaDIVE™AX活用したミライ小町のDJができることになったんです。
※3 世界最大級のカンファレンス&フェスティバル「South by Southwest」の略。音楽や映画などのカルチャーから最先端テクノロジーまで多様な分野がフィーチャーされる。
DJプレイのためのゲームAIとは？ 活用されるゲームの技術とDJのノウハウ
――「ASOBINOTES ONLINE FES」でのミライ小町のDJにはとても驚きました。DJとしての技術をAIで実現するのはかなり難しいことなのではないかと思うのですが、どんな仕組みで実現しているのですか？
大久保：この「BanaDIVE™AX」では、ゲームAI技術の中でも「ステートマシン」と呼ばれる、すでに長く研究が続けられてきた技術を応用しています。これはキャラクターが置かれているステート（状況）を監視し、それに対して「この場合はどうするべきか？」とコンピューターが判断し処理するという仕組みです。ゲーム上でのインタラクションにはもちろん、キャラクターのアニメーション遷移や音響の制御にも使われます。例えば、プレイヤーキャラクターが「殴られたらどうなるか？」「敵に見つかったらどうなるか？」等を制御する仕組みですね。
これの応用で、「BanaDIVE™AX」によるDJパフォーマンスAIは、「キャラクターに上手くDJをしてもらうために、DJが普段どういった思考で、どういった判断や行動をしているのか？」を、自分のDJ経験からロジックに置き換えAI化したというイメージです。ここでの判断材料となるステートは何かというと、プレイしている音楽の状態です。「テンポ」「小節」「拍」等の音楽の基本情報や、「イントロ」「盛り上がり部分」「DJとして繋ぎやすい部分」等の時間軸上のパートの変化などを、あらかじめ解析したデータがこれにあたります。このデータから今音楽がどういったステートなのかを判断しさまざまな演出に活かすというのが、この「BanaDIVE™AX」の基本的な仕組みです。
ただDJと一言で言っても、さまざまなジャンルの音楽をプレイするDJがいます。ハウスミュージックやテクノといったクラブダンスミュージックもあれば、アニソンや歌謡曲をプレイするDJもいるので、ロジックの開発にあたり、音楽ジャンルごとにその構成やそれぞれのジャンルのDJプレイについて調べ分析したりもしました。結果、出来上がったDJプレイロジックについて特許出願もしています。
――なるほど。音楽ジャンルによって変わるさまざまなつなぎ方のパターンをあらかじめ解析・蓄積することで、AIによるリアルタイムでのDJプレイが実現しているんですね。
大久保：はい。最近はリアルDJの間でも、専用ソフトを使ってあらかじめ音楽を解析し「曲のどのあたりが他の曲と繋ぎやすいか」等の情報を付加した音楽データを持って現場に行くというのが普通になっています。これと同じように、「BanaDIVE™AX」は、あらかじめ解析を済ませた音楽データを使ってDJプレイを実行するわけです。
解析については完全な自動化にはまだ達していないですが、いずれそこも自動化し、ある程度汎用的に使えることを目指しています。現状ではどちらかというとクラブ系のダンスミュージックが得意ですが、今後アップデートしていければと考えています。ちなみに、この楽曲に付加されたデータはDJプレイだけでなく、キャラクターの動き、ステージ照明、VJ映像演出、サーバ経由のAR映像などにも利用しています。
――DJプレイ中に行なわれた多くの観客による投票結果が、リアルタイムで選曲に反映されていく様子は圧巻でした。
大久保：お客様の意思をリアルタイムでパフォオーマンスに反映できるのは、デジタルだからこそできることのひとつです。このシステムが目指しているのは、キャラクターパフォーマンスとお客様のインタラクションでしたので、「ASOBINOTES ONLINE FES」では、視聴しているお客様の投票によって次にDJがつなぐ楽曲が分岐するという仕組みを実施しました。また、配信映像が映っているPCやTVの画面にスマホをかざしてもらうと自分の部屋に演出が飛び出してくる「AR視聴」というオンライン配信だからこその新しい演出も実施しました。今までのようなフロアを映すだけの中継だけでなく、自宅も会場の一部となるような仕組みにしたかったんです。
大久保：大切にしていたのは、DJのライブ／パーティー会場をそのままデジタル化したいということではなく、今までライブという空間の中で数千～万人の観客と１アーティストという関係性になっていたものが、観客ひとりひとりと１対１の関係性に変わるような「新しい体験」をしてもらいたい、という思いでした。「会場に行きたいけど、仕方がないから家で観よう」ではなく、「会場で観る楽しみ」と「オンラインで見る楽しみ」という別々の価値を用意して、お客様が「どっちがいいかな？」と悩む時代にもなっていくのかなと思います。
『電音部』での展開に、フェス市場への挑戦も？「BanaDIVE™AX」の未来
――この技術が発展すると、よりさまざまな可能性が広がっていくだろうなと期待してしまいます。最新技術がアソビを変えるというのは、とても楽しいことですね。「BanaDIVE™AX」の今後の展望について教えていただけますか？
大久保：まずは、新しくスタートするバンダイナムコの新規オリジナルIPプロジェクト『電音部』で上手く活用してもらいたいと思っています。今ちょうど『電音部』のチームと「BanaDIVE™AX」をどう活用してもらえるのか詰めているところなんですが、まだ詳しいことについてはお話できる状態にはありません。
ですが、「BanaDIVE™AX」のシステムはリアルイベントでも配信ライブイベントでも使えますし、デジタルだからこそ、ネットで繋がる多くのリスナーのリクエストに応えることもできます。人には難しい24時間ずっとプレイし続けるDJなんかも可能です。『電音部』というIPが実現したいことに沿って、できるだけ協力したいと思っていますね。
大久保：そしてもうひとつ、当初の目論見でもあった海外のDJ市場にも挑戦もしてみたいです。大型のフェスが盛んだった2019年の世界DJランキングで1位の方が年間50億円以上も稼いでいたことからもわかるように、実はものすごい規模の産業なんですよね。今はコロナの影響でフェスの開催などもできないですが、それだけ魅力のある世界にもしキャラクターAIのDJが加わることができたら……というのは考えています（笑）。状況に対応していろいろなことをやっていきたいと思っていますね。
先端技術×キャラクターの未来には「関係性の位置付け」が重要
大久保：「僕らはこのキャラクターと何をしたいんだろう？」と、もう一歩進んで考えていくことが大事なんじゃないかなと思います。キャラクターと僕らとの関係をどう位置付けるかについて考えることは、次のエンターテインメントを生むヒントになるんじゃないでしょうか。
例えば、2019年の「SXSW」にも展示したバンダイナムコ研究所の「The AI GamerQ56（キューゴロー）」は、ゲームを繰り返しプレイし続けることで学習して上手くなるAIに、ロボットの容姿を加えたものですが――（「SXSW」での映像を流しながら）この映像の、お客様の表情に注目していただけますか？ みんな「Q56」に笑顔で拍手したり声をかけたりしてくれるんです。普段AIに対して人に感じるのと同じような感情を持つことはなかなかありませんが、人型の要素を加えた途端、そこにはなぜか感情が生まれて「がんばれ！」「よくやった！」と反応が生まれます。これってキャラクターの一つの機能なんじゃないかと。こういうのを見ると、「人と機械の間にキャラクターを通して感情が生まれるということもあるな」とか、いろんなことを考えられますよね。
大久保：キャラクターは「世の中を変えられる何か」になれるものです。キャラクターを通して人とAIの間で何かしらの感情や思考のようなものが行き来する時代になったとしたら、これまであった「人がコンピューターを使って遊ぶエンターテインメント」だけではなく、「コンピューターと人が一緒に楽しむエンターテインメント」も出てくるかもしれません。どうなるにしても、今後AIと人との関係が今よりもっと近いものになることを想像しながら、いろいろなことを妄想していきたいと思っています（笑）。
【取材後記】
AIの進化によってキャラクターIPの可能性が広がることが伝わってくる、終始ワクワクするような取材でした。当日は会話の中で、人を惹きつけるものを考えていくことを、「マネタイズする（収益化する）」などと同じ要領で「モテタイズする（モテ化する）」と表現するなど、話の随所にユーモアやアイディアが溢れていた大久保さん。だからこそ新しいアイディアを形にできるのかもしれません。これから本格化するという『電音部』と「BanaDIVE™AX」とのコラボレーションも楽しみにしています！
取材・文／杉山 仁
フリーのライター／編集者。おとめ座B型。三度の飯よりエンターテインメントが好き。
