タグ: 音声認識 / Voice Recognition（用語）

音声処理のスタートアップ企業Mimi（ミミ）は、個人に合わせてパーソナライズされた聴覚プロファイルを作ることができると公言している。つまり、音量を大きくすることなく音を聞こえやすくしてくれるというわけだ。難聴予防にもなる他、これによりすでに難聴になってしまった人でも聴力に新たなダメージを与えることなく、コンテンツを聞こえやすくしてくれるのだという。

科学プロジェクトとしての理論は非常にすばらしいのだが、企業としては明らかな問題点がある。その技術が私たちの普段使用する製品に搭載されなければ、単なる学術的なものとして終わってしまう。その技術が製品として普及しないことには人々を助けることはできないのである。Mimiはこの課題に飛躍的な前進をもたらすべく、複数のパートナーシップを発表した。Mimiの技術が有名オーディオ製品に搭載されれば、同社にとってもそして私たちの聴覚の健康にとっても大きな意味を持つことになるだろう。

2014年、TechCrunch Battlefieldのステージに登場したMimiのCEO兼創業者のフィリップ・スクリバノウィッツ氏

2014年にニューヨークで開催されたTechCrunch Distruptのステージに登場したMimi。7年前の当時、同社の製品が優れたアイデアだということは明確だったのだが、同社は以来長い道のりを歩んできた。そんな同社も最近では数々の成功を収める事業会社となっており、新たに発表されたSkullcandy（スカルキャンディー）、Cleer（クリア）、Beyerdynamic（ベイヤーダイナミック）とのパートナーシップにより、この技術がついに私たちの耳に届くことになる。

SkullcandyのCEOであるJason Hodell（ジェイソン・ホーデル）氏は次のように話している。「弊社のファンにとって有意義な技術を使った、手に取りやすい製品を作ることが私たちの使命です。ミミとともに、個人に合わせて調節できる健康的なリスニング習慣をサポートすることで、ファンのみなさまの楽しみと健康に、生涯にわたるポジティブな影響をもたらしたいと考えています。Mimiとのパートナーシップにより、弊社のコアミッションが最適な形で体現されました」。

Cleer Audioの社長であるPatrick Huang（パトリック・ファン）氏は「Cleer+アプリで販売している最新のイヤフォンとヘッドフォンにMimi Sound Personalizationを導入できることを大変うれしく思います。聴覚の最適化とウェルネス機能を製品に搭載することで、当社の製品とお客様に、確実に付加価値がもたらされるでしょう」とコメントしている。

その仕組みは？

Mimiの共同創設者で研究開発責任者のNick Clark（ニック・クラーク）氏による説明は次の通りだ。「聴覚システムには周波数の解像度があります。スクリーン上のピクセルのようなものだと考えてください。耳が良ければピクセル数は多いのですが、それでも2つの異なる情報が1つのピクセルに入ってしまうと、優勢な情報が支配的になってしまいます。健康な耳の解像度は限られているので、大量の情報を捨ててファイルサイズを大幅に削減するというのが、mp3の基本です。Mimiのユニークな点は個別のプロファイルにあります。例えば、聴力がやや劣っている人のピクセルは、大きくて数が少ないと例えられますが、ピクセル数はその人の実際の聴力に関係するのでMimiにはどうすることもできません。しかし、何が私たちにできるかというと、音を少しでもそれに合うように処理するのです。何かを選択的に増幅したり、何かを選択的に減少させたりすると、最多の情報を伝達することができます。これによって、人々に豊かな体験をもたらすことができるのです」。

記事に掲載する画像としてはいかにも地味だが、Mimiがとらえた筆者の聴覚データをこのようにして見るのはとても興味深い。アプリから誰でもCSV形式の出力をリクエストできる。どのくらいの音量および周波数のビープ音を聞き取れるのかといったデータが主に取得されているようだ

Mimiの技術を試すために、今回筆者が試用させてもらったのは、Skullcandyによる99ドル（約11000円）のGrind Fuel True Wireless Earbuds、Cleer Audioによる130ドル（約15000円）のAlly Plus II Wireless Earbuds、Beyerdynamicによる300ドル（約3万4000円）のLagoon ANCヘッドフォンの3つのデバイスだ。設定手順は3つのデバイスともほぼ同様で、それぞれのメーカーのアプリをダウンロードして、聴覚プロファイルを作成するプロセスを行うだけだ。

プロファイルの作成は非常に簡単で、生まれた年を伝えればすぐにテストを開始することができる。聴力検査自体は非常に奇妙で、電子コオロギの群れを箱に閉じ込めてその上からビープ音を鳴らしたような音が聞こえてくる。ビープ音は徐々に大きくなり、音が聞こえている間はボタンを押し続ける。やがてビープ音は再びフェードダウンし、ビープ音が聞こえなくなったらボタンを離すというものである。ビープ音はさまざまな周波数で発生する。入力された情報をもとに個人のプロファイルを作成し、プロファイルを作成し終えたらMimiのアカウントを作成して保存するという流れである。つまり、Mimiの技術に対応しているデバイスであれば、どのデバイスでも自分のプロファイルを使うことができるのだ。そのためありがたいことに「コオロギの箱」を繰り返し聞く必要はない。

Cleerアプリでのパーソナライズ結果（左）とSkullcandyアプリでのパーソナライズ結果（中、右）はかなり異なっていた。Skullcandyからの2つの結果はほぼ同じだったため、少なくとも測定値には一貫性があるということだろう

同製品の聴覚テストの構成要素は大成功を収め、広く使用されている。同社の聴力検査アプリはApp StoreでNo.1を獲得しており、毎月約5万人がこのアプリを使って聴力検査を行っているという。このアプリのレビューを見ると、プロによる聴覚テストと一致していると多くのユーザーが感じているようだ。

「当社の聴力検査アプリと同じ技術がSDK（ソフトウェア開発キット）として提供されており、当社のパートナーはコンパニオンアプリに組み込むことが可能です」とMimiのCEOであるPhilipp Skribanowitz（フィリップ・スクリバノウィッツ）氏は説明している。

聴覚テストの結果をパーソナライズされたプロファイルに適用し、これをユーザーの耳にできるだけ近いところでシグナルプロセッサーとして実行することにより、Mimiのマジックは開花する。

「弊社のソフトウェアは、デジタルオーディオが通過できる場所であればどこでも適用できます。聴覚IDを作成したら、耳に届く前にオーディオストリームを調整するため処理アルゴリズムに転送する必要があります。弊社には複数のコンポーネントと処理アルゴリズムがあり、ヘッドフォンの場合はBluetoothチップ上で、テレビの場合はオーディオチップ上で動作します。公共放送のテストやストリーミングアプリケーションのパートナー、科学関連のパートナーやスマートフォン関連のパートナーもいます」とスクリバノウィッツ氏は話す。

試聴体験はどうなのか？

重要なのは、実際の効果である。残念なことに効果を聴き分けるのは難しく、また試したデバイスによって大きな違いが出た。

Mimiのヒアリングテストを3つの製品で行ったところ、結果は大きく異なった。左からSkullcandyの「Grind Fuel」、Beyerdynamicの「Lagoon ANC」、Cleerの「Ally Plus II」（画像クレジット：Haje Kamps）

Cleerのイヤフォンは電源を入れて耳に入れると、音声が再生されていないときでも不思議なヒスノイズが発生していた。音楽の再生中、パーソナライズをオンにしたときとオフにしたときの音の違いはあまり分からなかった。良いニュースとしては、Cleerのイヤフォンを使ってプロファイルとMimiのアカウントを作成し、プロファイルを保存できたことくらいである。これで他のデバイスでもすぐに使用できるということだ。

Cleerの社長と話したところ、ヒスノイズや雑音は極めて異常なものだと断言してくれた。そこで2個目のイヤフォンを送ってもらったのだが、残念ながらこのイヤフォンにも同じ問題が発生した。筆者の運が驚くほど悪かった可能性もあるが、一般発売までにまだ課題が残っていると考えて間違いないだろう。

Skullcandyも不調だった。サウンド・パーソナライゼーションを設定した後、Skullcandyのアプリが毎回クラッシュして結果を保存することができなかったため、パーソナライゼーションの効果を聞くことができなかった。またなぜかSkullcandyではMimiにログインして、保存されたMimiプロファイルを使用するオプションが存在せず、新規に作成しなければならない。アプリが筆者のプロファイルを保存できなかった上、他のデバイスで作成したMimiプロファイルも使用できなかったため、結局Skullcandyのイヤフォンでパーソナライズされたオーディオを聞くことができなかった。このアプリの問題について、Skullcandyのチーフプロダクトオフィサーに話を聞いてみた。

SkullcandyのチーフプロダクトオフィサーであるJeff Hutchings（ジェフ・ハッチングス）氏の回答は次のとおりである。「Skullcandyでは、製品の品質を非常に重視しています。弊社のモバイルアプリは、当時入手可能だったあらゆるモバイルデバイスとOSの組み合わせを用いて厳密にテストされました。その結果、Android 12を搭載した新しいPixel 6/6 Proで問題が発生していることがわかりました。Skullcandyはこの問題を可能な限り早く解決するために、アップデートリリースに積極的に取り組んでおります」。

Beyerdynamicのヘッドフォン「Lagoon ANC」（画像クレジット：Haje Kamps）

Beyerdynamicのヘッドフォン、Lagoon ANCは別の話である。もちろん同ヘッドフォンはオーバーイヤー型で、価格も他2種よりかなり高価格のため当然とも言えなくないが、Beyerdynamicのヘッドフォンではパーソナライゼーションによる顕著な違いが聴き分けられた。特にアクティブ・ノイズキャンセリングをオンにすると、Mimiのパーソナライズ効果による変化が著しく感じられた。パーソナライゼーションをオフにしたときよりも音がより鮮明で、ディテールがより明確に聞こえ、なんというか…ステレオ感が増したような音と言えば良いのだろうか。説明するのは非常に難しいのだが、今後筆者のすべてのヘッドフォンにMimiの機能を付けたいと思うほどの違いである。

ただ、それが故にCleerやSkullcandyのイヤフォンには、なぜそこまで顕著な違いがないのかが気になるところである。Beyerdynamicのヘッドフォンで作ったプロファイルを、他のヘッドフォンで使ってみたら良いのではないかと思ったのだが、SkullcandyのアプリではMimiのアカウントにログインできないようなのでそれは叶わず、またCleerのアプリでは一度作成したら他のプロファイルを読み込むことはできなかった。結局、携帯電話からCleerアプリを削除し、再インストールしてからMimiのアカウントにログインし直す羽目になった。今回の筆者のような使い方をするユーザーが多くないことは承知しているが、Mimiの創業者が期待しているユースケースの1つであるにもかかわらず、Mimiのサーバーにすでにあるプロファイルをコピーできないというのはかなり残念である。

プロファイルのコピー騒動はさておき、Beyerdynamicのプロファイルを使用すると、Cleerのイヤフォンでも違いをわずかに感じることができた。ステレオチャンネルの分離が良くなったように聞こえるが、上述の「ステレオ感が増した」感覚ではなく、全体的に劇的な違いがあるとは言い難い。Beyerdynamicのヘッドフォンで感じた「すげぇ」という感動はなく、またこの分野での最も明白なライバルであるNuraphone（ヌラフォン）体験には遠く及ばない。

これらのヘッドフォンとNuraphoneのヘッドフォンを比較しないわけにはいかないだろう。Nuraphoneは399ドル（約45500円）と高価だが、聴力を測定する方法に明確な違いがある。聞こえる音と聞こえない音をユーザーに判断させるのではなく、ヘッドフォンが直接ユーザーの耳を測定するのである。このアプローチの欠点は、非常に特殊なヘッドフォンでしか機能しないことと、プロファイルがNura以外のヘッドフォンには移植できないことである。それでも効果は非常に素晴らしく、買ってから5年経った今でもNuraのNuraphoneヘッドフォンは筆者にとって音楽への没入感を高めるための必須アイテムとなっている。

全体として、こういったパートナーシップを築き、Mimiのテクノロジーを人々の手に届けるというのはMimiチームにとって非常にエキサイティングなことである。

結局のところ、パーソナライゼーション技術の評価というのは、ここでは筆者の個人的な体験に基づいてしかレビューを書くことができないため難しい。もしかしたら筆者の聴覚が人より優れていたり劣っていたりして、Mimiの技術が筆者にはあまり効果がない可能性もある。他の人はまったく違う感想を持つかもしれない。筆者にとってはハイエンドのヘッドフォンが非常に効果的なため、次に購入するハイエンドのヘッドフォンには、必ずMimiのテクノロジーが搭載できるものを選びたいと思う。イヤフォンについては、1つはまったく機能せず、もう1つも今1つだったこともあり、サンプル数としてはあまりにも少ない。筆者はあまり価値を見出せないが、Mimiテクノロジーによってヘッドフォンの価格が上がったり、オーディオ品質を低下させたりしないのであれば、あって損することはないだろう。

画像クレジット：Haje Kamps

［原文へ］

（文：Haje Jan Kamps、翻訳：Dragonfly）