概要

ヤマハ株式会社は、ボーカロイドの研究から派生して生まれた技術TransVoxを活用し、カラオケでリアルタイムに歌声を変換する実験を成功させました。それを受け2人の歌声のリアルタイム変換というより高度な検証「なりきりマイク VOLUME 2 Da-iCE」にチャレンジし、技術のさらなる商用利用の可能性を探りました。この実験のために高性能なエッジIoT端末「ThinkEdge SE30」を用いて信頼性、堅牢性の高い環境をレノボは提供し、ヤマハの音楽技術革新の取り組みを強力にサポートしました。

導入

音楽技術を革新したボーカロイド技術
その派生となる音声変換技術のTransVoxを活用する新たなヤマハの挑戦

ヤマハは、音楽と音響機器の分野で世界をリードする企業です。

1887年にオルガン修理をきっかけに楽器製造事業を開始、1954年にはオーディオ機器の製造、1955年にはオートバイ事業に参入するなど多角化を進めました。

創業以来ヤマハは、音楽技術の革新に取り組んできました。その一環で生まれたのが歌声合成技術です。

歌声合成技術は「パソコンに歌詞と音符を打ち込むだけで歌声を出せる」ことが斬新かつ奇抜な技術、2000年から本格的な研究開発がスタートし2004年3月に歌声合成ソフト「ボーカロイド」を国内発売します。

ボーカロイドから派生して、歌声変換技術「TransVox」も開発されました。入力された歌声を分析し、全く別の人の歌声に変換するもので、当初は迅速な変換は難しいものがありました。その後も開発が続けられて進化し、ほぼリアルタイムな変換が可能となります。

この技術で歌手の歌声になりきって歌うことができれば、カラオケに新たな顧客体験が得られると考え、2022年8月に、一人の歌手の歌声を再現する「なりきりマイク」の第一弾実証実験を行い、2024年3月から第二弾でデュエットも可能な「なりきりマイク VOLUME2 Da-iCE」を実施しました。

リアルタイムに歌声を変換するヤマハのTransVox技術を活用したなりきりマイクでカラオケに新たな価値を生み出す

第一弾では、実際のカラオケ店の環境でTransVoxの歌声変換技術の有効性を確認しました。なりきりマイクを経験した人や店舗からフィードバックを受け「カラオケで誰かの歌声になり歌えることが面白いとの反応がダイレクトに得られ、大きな可能性を感じました」と、ヤマハ株式会社 ミュージックコネクト推進部 戦略企画グループ 主幹の倉光大樹氏は言い、歌声変換がカラオケに新たな価値を生み出せると考えました。

歌声変換技術はヤマハが提供できますが、カラオケにそれを適用するには、歌声の持ち主であり、様々な面での許諾権者であるアーティストサイドの協力が必須です。そのためにパートナーが必要だったと、ヤマハ株式会社 ミュージックコネクト推進部 戦略企画グループ 主事の井上顕良氏は言います。

肝心の歌声のデータなど素材面やカラオケ業界との調整等で全面協力したのは、第一弾でも協力した総合エンタテインメント企業エイベックスでした。

店内で邪魔にならないサイズと高い処理性能が継続でき24時間連続稼働できる信頼性が必要

第一弾は3箇所のカラオケ店で1ヶ月半でしたが、第二弾は対象を全国18店舗に拡げ、2024年3月29日から5ヶ月間に亘り実施されました。2023年10月頃から第二弾のプロジェクトはスタートし、歌声をより似せる開発作業やカラオケ店との交渉などさまざまな調整が行われます。

エイベックス・アライアンス&パートナーズ株式会社 第3アライアンス営業グループ 第1アライアンス営業ユニット チーフプロデューサーの佐藤一成氏は、「実験的なプロジェクトにも関わらず許諾に前向きであり、歌声に特徴があり、その上で人気があるアーティストという条件で選定。さらには第一弾を上回る内容という視点で2人のボーカルが必要だと考えました」と言います。ちょうど2024年に10周年を迎えるにあたり様々な新しい取り組みに挑戦する事を予定していた、ツインボーカルが魅力のDa-iCEが承諾してくれます。

2人の歌声を同時に変換するデュエット機能は、「ヤマハにとって大きなチャレンジでした」と井上氏。他にも第一弾では、ヤマハが用意した有線マイクをオーディオインターフェイスに接続し、オーディオインターフェイスとPCを接続し変換を実現していましたが、第二弾はカラオケ店の部屋常設のワイヤレスマイクを利用するため、第一弾とは異なる接続を行い、またカラオケ装置の採点機能への対応などを行いました。

デュエット機能は、変換処理を行うPCに高い性能を求めます。遅延なくリアルタイム変換するには、高負荷の処理を処理し続けるため、ハイスペックなものが必要となります。また、全国各地のカラオケ店の部屋に設置されるので、24時間の連続稼働、筐体がコンパクトで静音性が高いことも求められます。トラブル時にすぐに対処できるとは限らないため、高負荷な処理を安定して処理し続ける事が可能な信頼性の高いものであることも重要でした。さらに、専門家ではないカラオケ店スタッフが容易に運用できる、シンプルなインターフェイスも必要でした。

24時間365日の連続稼働に耐えうるコンパクトで高性能なThinkEdge SE30で高度な信頼性を実現

第一弾では、ヤマハで用意した PCを利用しました。そこで出た課題も考慮して第二弾用PCの機種を検討中に、 レノボからエッジIoT端末が最適ではとの提案を受けます 。機種候補に挙げられたのは、コンパクトなサイズながら高性能を発揮する「ThinkEdgeSE30」でした。

ThinkEdge SE30は、IoTおよび組み込み機器向け高性能インテル® Core™ i5プロセッサーを搭載、筐体容量約0.81 Lとコンパクトで、ファンレスでも-20～60℃という幅広い温度範囲で利用できます。高い信頼性と堅牢性があり、24時間365日の連続稼働に耐えうる端末であることを評価しました。「屋外の電柱などにも設置されていると聞き、信頼性はかなり高いと判断しました。また米国軍事物資調達基準のMIL規格に準拠し、その取得基準を確認して、採用を決めました」と井上氏。「エッジ端末の存在を知らず全く想定していなかった我々にとって、レノボの提案は非常に新しい発見でした 」と佐藤氏も言います。

連続稼働でも安定した性能と高い堅牢性で実証実験は終了ユーザーや店舗からも高評価を獲得

端末を設置する18店舗は、全てで環境が異なり、時に想定していない操作をされることもあり得ます。そのような状況で進められましたが、ThinkEdge SE30の高い信頼性と堅牢性もあり、大きなトラブルなく実証実験は進みました。

検証項目の一つだった安定した連続稼働は、稼働中にPCの処理速度が落ちて、リアルタイム変換が遅くなる、変換した音声の質が損なわれることもなく十分でした。倉光氏は「当初は連続稼働による熱の問題を懸念しましたが、それも全く問題ありませんでした」と言います。

ハードウェアおよびなりきりマイクのソフトウェアに起因する問題は発生しませんでしたが、「カラオケ機器は様々な方が様々な使い方をする事もあり、実際に設置し運用してみて初めて分かる問題も多々ありましたが、ハードの堅牢性は大きなトラブルもなく企画が終了できた要因のひとつだと感じています」と佐藤氏は振り返ります。

　なりきりマイクは、様々な人から利用され高評価を受けました。Da-iCEのコンサートに併せ遠方から上京した際に予約し、ファン同士で楽しむ場などにもなっていました。なりきって歌う様子の動画も、数多くSNSにも投稿されています。リピーターもおり、何度か試すことでさらになりきりマイクを使いこなす様子も見られました。

Da-iCEのメンバーも実装直前に体験し「すごい技術だ！すごく面白い」と評価しています。店舗側でも新しいカラオケの楽しみ方だと興味を持ち、「エイベックスさんは、面白い提案をしてくれた」との声もありました。

ヤマハとエイベックスでは、実証実験第二弾は成功と評価しており、歌声の変換がカラオケに新たな価値を生み出すと確認されました。しかし、この結果から直ちに次のステップに移行できるわけではありません。

様々な歌手になりきれるのが理想ですが、歌声の知的財産の扱いの課題があります。またAI技術は急激に進化しており、それを取り巻く規制などの状況も日々変化しています。「商用的な取り組みとするには、今後より慎重に取り組む必要があるでしょう」と倉光氏は言います。

「高い音声処理技術を持つソフト面のヤマハ、様々なアーティストを総合的に扱うIP面のエイベックス、それらの活用を下支えしたハード面でのレノボが一緒にプロジェクトを進められた価値は、大きなものがある」と倉光氏、佐藤氏は言います。なりきりマイク以外にも、AI技術や歌声などの知財を組み合わせた新たな取り組みが考えられます。それを実現する際に求められる、エッジでの高度なリアルタイム処理や、多様なシステムとの高い連携性などが、レノボに期待されています。

この課題を解決した製品・ソリューション

お客様プロフィール

お客様	ヤマハ株式会社
所在地	静岡県浜松市中央区中沢町10番1号
創業	1887年