音楽シーンにおいて、AIはこれまでにも音楽制作機材や音楽配信プラットフォームでのパーソナライズなどさまざまな用途で活用されてきた。しかし、2023年は"AIの台頭"と言えるほど、AIが音楽シーンにもたらす影響が大きくなったと感じる1年だっただろう。その結果、AIは新たな可能性や課題をもたらし、現在はシーンの最前線で活躍するアーティストから一時代を築き上げた大御所アーティストまでが、この課題に対するさまざまな意見を発信。それぞれの立場から議論が行われることも少なくない。

そんな中、2023年7月に「AI DJ」など早くからAIと音楽クリエイティブの可能性に着目してきたAI研究者/アーティスト/DJの徳井直生が、新たに音楽制作AIツール開発に取り組むテック企業として「Neutone」を設立。同社では、これまでに音色変換のプラグインをはじめ、さまざまな音楽表現を拡張する音楽制作AIツールを提供しているほか、アーティストやエンジニア、研究者らが参加するコミュニティも構築している。

今回、block.fmではそのリーダーである徳井直生にNeutone設立の目的やコミュニティ構築に取り組む理由をはじめ、音楽AIツール自体の可能性やAIならではの表現が生まれる可能性など、今後のAIと音楽クリエイティブの在り方について話を伺った。

目次

1. 大企業が音楽AIに本腰を入れ始めてきたことで覚えた危機感

2. 大企業が目指すのは“効率的な再生産”。でも、それだけで音楽AIは発展するのか？

3. 音楽AIツール「Neutone Plugin」で予想外の音色に出会う

4. 音色変換+加工が可能な「Morph」、AIモデルのオーダーメイドサービス「Cocoon」

5. アーティストによる“誤用”が発展に繋がったTR-808やターンテーブル。音楽AIツールは？

6. アナログ回帰の2010年代を経て、AIが創作のテクノロジーとなる2020年代

7. 画像より抽象度が高い音楽。だからこそAIを使っても人の想像力が介入する余地がある

大企業が音楽AIに本腰を入れ始めてきたことで覚えた危機感

ーー2023年7月に新会社として、「Neutone」を設立されましたが、この設立の経緯と目的を教えていただけますか？

徳井：Neutoneは元々、AIの活用による創造性の拡張に取り組むコレクティブ「Qosmo」の中の研究プロジェクトとして始めたのですが、現在はDiscordのメンバー数も2000人近くにまでなりました。特に海外でAI×音楽制作ツールとして注目されてきたと思っています。

別会社にした直接のきっかけは、去年4月にジャズキーボーディストのBIGYUKIと一緒にアメリカの楽器見本市「NAMM」でパフォーマンスを行ったときに、AI系スタートアップがどんどん出てきていることを目の当たりにしたことですね。

その後からGoogleやByteDanceなど大企業が音楽AIに本腰を入れ始めたため、自分達としてもスピードアップしないといけないという危機感を覚えると同時に、このままでは大企業との競争は厳しいだろうということで、外部の資金を入れスタートアップ的なフレームワークで動くために、新たにNeutoneを立ち上げることにしました。

また、Qosmoは音楽に限らず、さまざまなクリエイティブ領域でのAI活用に取り組んでいる会社なので、必ずしもNeutoneと一緒のことをやっているわけではないんです。その辺を整理した方が外部からもわかりやすいというのも、Neutoneの立ち上げを決めるきっかけのひとつになりました。

ーー昨年12に行われた「WIRED Futures」のトークセッションでも、Googleのような大企業が参入してきた今、アーティスト側からも改めて音楽AIツールの開発や発信が必要になってくると話されていたことが印象的でした。

徳井：僕自身も音楽制作にAIを使う側なので、その感覚はすごく強いし、他の研究者や企業が考えていることに対しては、ちょっと違うと感じている部分もあって。

音楽AIの研究者の中にもギターやベースを弾くという人は結構多いんですが、意外にも、MAXでプログラミングするなどテクノロジーを前面に押し出す形で音楽をやっている人は少ないんです。逆に僕は楽器が弾けないからこそ、AIなどのテクノロジーを駆使して音楽を作ってみたいという想いが強いのかもしれません。

大企業が目指すのは“効率的な再生産”。でも、それだけで音楽AIは発展するのか？

ーーNeutoneは汎用的なプラグインというかたちで最新のAIモデルを無償提供されています。無償提供を決めた最も大きな理由を教えてもらえますか？

徳井：アーティストや研究者、エンジニアの集まるコミュニティを作りたかったのでNeutoneの無償提供を決めましたが、その理由のひとつは、音楽AIは画像生成AIに比べて発展が遅れていると感じているからです。

画像生成AIの場合、ブラウザ上で生成するだけである程度のものが出来上がります。一方、音楽の場合は時間軸が存在するため、AIで生成したものをDAW上で組み合わせるなど、曲を完成させるまでの過程が結構あるのですが、そこがAIのプログラミングとはあまり相性が良くなくて。でも、アーティストが自由に使える形でAIのモデルを提供できれば、アーティスト側からも意見が言えるし、エンジニアや研究者も実際にAIを使うアーティストからの生の声が聞ける。そうすればアーティストにとって役に立つかたちでのAI技術の発展を後押しすることができます。

エンジニアや大企業にだけ任せておくと、どんどん経済の論理でAIのモデルが開発されてしまう可能性があります。そうなるとなるべくマスに受ける、今流行っているものをいかに効率的に再生産するかという方向に議論が進んでしまいがちです。利益を考えるとある程度仕方のないことだし、それはそれで彼らがやればいい。ただ、音楽AIの発展のためにはアーティスト側が議論し、意見を表明できるコミュニティが必要なので、それを僕らが作っていきたいと思っています。

ーーそのコミュニティに関わる人たちと一緒に音楽AIの可能性を探っていくということでしょうか？

徳井：そうですね。正直、自分たちでもどういうAIのシステムがあれば実際にアーティストの役に立つのか、AIならではの新しいインタラクションにはどういうものがあるのか、まだわからない部分もあって。

だからこそ自分たちで最初から理想形を提案していくのではなく、まずはプラットフォームとしてなんでもホストできるようにオープンソース化することで、開発者など、いろんな人がそこで物を作って公開できるようにしたと思っています。

その中で得たアーティストのフィードバックを参考にしながら自分たちが使ってみて、「これはAIならではだな」とか「この辺のアーティストにニーズがあるな」といった当たりをつける場所だったり、そこでプロトタイピングをやってもらったり、「何か一緒にやろう」という話が生まれる場にしたいんです。またその結果、自分のAI DJやBIGYUKIとのパフォーマンスを通して、音色の変換は役に立つと感じました。

音楽AIツール「Neutone Plugin」で予想外の音色に出会う

ーーNeutoneでは、これまでにリアルタイムの音色変換や音源分離など、数十種類のモデルを公開・共有してきたとお聞きしました。その中にはリアルタイムの音色変換や音源分離以外にどういったモデルがあるのでしょうか？

徳井：基本的には音源分離と音色変換のモデルが多いのですが、他にもAIを使ったリバーブやギターペダルなど既存のエフェクターのシミュレーションをするモデルもいくつか公開しています。

最近、音色変換が可能な「Neutone Plugin」に15個の新しいAIのモデルが追加されましたが、それは僕らではなく、Neutoneのコミュニティにいる別のチームが開発・提供してくれたものです。

ーーそのNeutone Pluginはどういった仕組みになっているんでしょうか？

徳井：Neutone Pluginは一般的なDAWで使用できるプラグインです。さまざまなAIのアルゴリズムが利用できるのですが、その中でも特に特徴的なのがリアルタイムの音色変換のAIモデルです。

このAIのアルゴリズムは、基本的には音のファイルの圧縮アルゴリズムのようなものの中で動いています。例えば、ピアノならピアノの学習データセットがありますが、この音色変化のAIのモデルは、ピアノの音の断片を入力として、なるべく同じものを出力するように学習します。

ただし普通にやればコピーするだけなので、一旦データ量をめちゃくちゃ落としてから、元の音を出力するという仕組みにしています。つまり“圧縮と解凍”ですね。

これをひたすらやると、めちゃくちゃ効率の良いピアノの音だけを知っているZIPの圧縮アルゴリズムみたいなものが出来上がります。そうすると、当然ピアノを入力したらピアノっぽい音が出てきますが、バイオリンや自分の話し声など、全くピアノと関係がない音を入力したとしても、AIはその入力された音のアタックやピッチを解釈して、自分が知っているピアノの音で再合成します。そのため、どんな音を入力したとしても、そのAIのモデルが学習した音になって出力されます。

ただ、これをリアルタイムかつ音質良く動かすとなると技術的に難しいだけでなく、それをDAW上で動かすのも難しいため、開発する側としてはいろいろと工夫が必要になります。

ーーNeutone Pluginの特に面白い使い方としては、どんなものがありますか？

徳井：ひとつは曲作りにおいて、ちょっと物足りないなと感じる曲にNeutone Pluginを加えるという使い方ですね。そうすることで元々入力した音のリズム感やピッチを生かしつつ、少し違う別の音に変換されるので、それを曲に足すことで面白い音楽を作れるようになります。

よくある一旦MIDIに変換してソフトシンセで再構成するのとは違い、直接音から変換しているため、入力する音にある細かいニュアンスを反映できるほか、予想外の音や聴いたことがない音にするといったことができます。

一般的に音色変換というと、自分の話し声がリアルなバイオリンの音になるというようなイメージの方が結構多いのですが、Neutone Pluginでは音のリアルさを追求するというより、聴いたことがない音のテクスチャーや変わったリズム感のものに変換するという、実験的なニュアンスが強いツールとして開発しています。

ちなみに自分のAI DJでも、このツールを使ってミニマルテクノのリズムの音をヒューマンビートボックスの音に変換して乗せるといったことをしていますが、そういった使い方は新しい音楽表現方法のひとつだと思っています。

現在Neutoneで公開しているAIのモデルのほとんどは音色を変換させるものですが、フランスのIRCAMという研究機関が開発した音色変換用のアルゴリズム「RAVE(Realtime Audio Variational autoEncoder)」は、最近のAI音楽ツールにおいてひとつのヒットになっています。この辺りのニーズがあることがわかってきたので、2024年2月にはそこにフォーカスした製品として「Morph」という有料のプラグインを発表する予定です。

音色変換+加工が可能な「Morph」、AIモデルのオーダーメイドサービス「Cocoon」

ーーその「Morph」とは、具体的にどういった製品なのでしょうか？

徳井：Morphも一般的なDAWで使用できるAIを活用した音色変換プラグインで、10数個の音色変換のAIモデルが入ったスターターパックの販売を予定しています。また、それ以上のAIのモデルが必要な場合は、ひとつ10ドルほどで追加のAIのモデルを購入することもできます。

特徴はさっきのRAVEに依存せず、AIのモデルの仕組みもNeutoneチームでイチから作っているところですね。元々Neutone Pluginを無償提供していた理由のひとつには、RAVEが商業利用不可だったということもあります。でも、今回はAIモデルを自分たちで作ったことで有料プラグインとして販売できるようになりました。

ーーMorphの特徴について教えてもらえますか？

徳井：Morphでは、音色変換機能の他にフィルターやコンプレッサー、ピッチシフトといったエフェクト機能をつけたことで、AIのモデルのアルゴリズムに特化した音の前処理と後処理ができるようになり、例えば、音色変換した後の音をもう少し自分好みに調整することも可能になりました。実際に音色変換時の音のピッチを変えると出音が変わって面白いです。

しかも単に出音のピッチが変わるだけでなく、例えば合唱のモデルでは、入力のモデルのピッチを変えると最初は男性の声だったものがピッチを上げていくと女性の声に変化していくなど、AIのモデルが持っている楽器などの音の特徴を入力した音に反映させながら出力できます。

ーー最近のDAWに搭載されているMPE機能との組み合わせでさらに音色変換を使ったパフォーマンスも面白いことになりそうですね。

徳井：そうですね。そういったインタラクションに関するアーティストからのフィードバックも今後、まだまだNeutoneコミュニティから出てくると思います。Morph自体は、音楽をまるまる1曲作るタイプのAI音楽ツールではありませんが、曲の中で飛び道具的に少し変わった表現をしたい場合などには非常に有効なツールですね。

Morphは音をモーフィングさせるという性質上、モルフォ蝶を名前の由来にしています。その性質をモルフォ蝶が芋虫から蛹、そして成虫に変態していくところにかけているというわけです。またMorphとは別に「Cocoon」という別の有料サービスも2024年1月末か2月頃に立ち上げる予定です。

ーーそちらはどういったサービスなのでしょうか？

徳井：Cocoonは蛹という意味にかけたものです。Morphoには、各種のパーカションやストリングス、コーラスなどのモデルがありますが、Cocoonは、自分で集めた録音データを僕らのクラウドにアップしてもらえたら、そこで学習して自分専用のプラグインになってお返しするというAIのモデルをオーダーメイドできるサービスになっています。

こちらも大企業が作っているような音楽生成AIとは違いますが、ユーザーに対して、自分だけの音色として使えるものを提供することができます。

アーティストによる“誤用”が発展に繋がったTR-808やターンテーブル。音楽AIツールは？

ーー先ほども話に出てきましたが、Neutoneは設立時に「生成AIの技術革新が話題を呼ぶなか、経済的なメリットや技術論が先行しており、実際に文化の創出を担うアーティストやクリエイターの立場に立った視点が十分に反映されていないという現状がある」と説明されています。具体的にアーティストやクリエイターの立場に立った視点を反映するには、どういった取り組みがAI開発業界として求められていると思いますか？

徳井：まずはアーティストがいろいろな音楽AIツールを使って、実験してみた上で様々な使い方を見せていくことだと思います。音楽の歴史を振り返ってみると、例えば、TR-808やターンテーブルなどは、開発者が本来想定していた使い方とは違う使い方をしたことで、音楽を変えるテクノロジーになりました。

そのことを考えると、結局のところ、音楽の発展はアーティストが新しいテクノロジーの使い方を見つけて、それを最終的に開発者が取り込むという仕組みになっているため、AIに関してもやっぱりアーティストがいろいろ試してみることがすごく重要だと考えています。ただ、TR-808やターンテーブルは物理的なものなので、アーティストとしても好きに使いやすく誤用が生まれやすいという面もあります。

一方AIとなると、そもそも仕組み自体がブラックボックスで、プログラミング言語の知見が必要になるなど急に敷居が高くなってしまい、アーティストも受身にならざるを得ない部分があります。だからこそNeutoneのようなコミュニティを作って、アーティストが誤用しやすいものを開発・提供していく必要があると思います。

現状、大企業は主にテキストから音楽を生成するAIの開発に取り組んでいますし、基本的な業界の流れとしては、そちらに向かっていくと考えています。ただ、そういったより簡単にクオリティが高い音楽を作れるツールが出てきて、アーティストも一度はそれを使って音楽を作ってみたとしても、最終的にそのまま使うことはないと思いますね。おそらくAIで作ったものをサンプリングしたり、作ったものから特定の音だけを抜き出してみたり、開発者が思いもしなかった使い方をするようになるはずです。それを見れば、大企業もそういう使い方があることに気づき、方向転換するかもしれません。また、僕らみたいな小規模なテック企業など、よりインディー的な視点で音楽AIツールを開発するブティックメーカーみたいなものが増えてくると業界としても面白いですね。

アナログ回帰の2010年代を経て、AIが創作のテクノロジーとなる2020年代

ーー最近では、SNSでアーティストや音楽クリエイターが音楽AIツールに対して反応を示すことも少なくありませんが、そういった反応をどのように捉えていますか？

徳井：いわゆるAIのイメージに沿ったものに関しては反応があるという印象があります。例えばテキストから音楽を作れるツールや、Drakeなど有名アーティストの音声を使用できるAIカバーツールは、概念的にもわかりやすい。そのため反応する人は多いのですが、一方で僕らが開発しているようなAIでちょっと変わった音を作るツールとなると、なかなか理解してもらうことが難しいのかなとも思うことはありますね。

とはいえ、ArcaやMachinedrumといった海外のアーティストがNeutone Pluginを使っているところをインスタグラムに投稿してくれていたりもしますし、新しい音を求めているアーティストからは支持してもらえているので、有名なアーティストが使う事例が増えてくるとニッチなツールももっと広がっていくのではないでしょうか？

それ以外にも既存の音楽制作の概念やワークフローにうまくハマることも重要だと思っています。例えばNeutone Pluginが新しいギターエフェクトとして捉えられたり、テキストからAIが作った音楽をサンプリングすること自体がサンプリングのアップデートとして捉えられたりするようになれば、音楽AIツールの強みも増していくはずです。

早くから音楽AIの可能性に目をつけているアーティストたちと一緒にやっていくことも大事ですが、メインストリームで活躍しているアーティストや、音楽以外にファッションやTikTokなどわかりやすくフックになるマスなところと繋がると面白いと思いますね。

ーーちなみにAIに対する関心の部分でいうと、やはり若い世代の方が高いのでしょうか？

徳井：新しい音を探している若い世代にはそれなりに刺さるとは思いますが、一概には言えないですね。ただ、日本に関してはそもそもAIに限らず、テクノロジーに対する視野が狭くなってきているという印象もあって。

もちろん、これからAIが来るからちゃんと備えなければと考える人もいるのですが、ほとんどの人は日々インスタで流れてくる、いわゆる映える写真を撮ることくらいで考えが止まっているようにも思います。

それと、あまりにもいろいろなものがテクノロジーで最適化されているが故に、アナログな手作業に回帰している部分もあると思います。でも、テクノロジーを完全に排除して生きていくということはすごく難しい。もちろん人間の手作業で作られるものもすごく大事ですが、同じようにテクノロジーを使って作ったものにも当然価値があり、そのバランスをうまくとっていく必要がある。だから、頭ごなしにテクノロジーを否定することは結構危険な気もするんです。

あと、2000年代にはテクノロジーが新しい文化に貢献するというある種のテクノロジー楽観説がありましたが、現在はスマホやSNSを経たことでそこに対する期待感が薄れてしまったようにも感じます。

ーー確かに2000年代以降は、音楽制作テクノロジー的にも作り手の視点に立ったときにすごく新しいと思えるものがあまり登場しなかったかもしれません。

徳井：2000年前後までPC上で音楽を編集するといったことは、そもそも一般的ではありませんでしたし、ぜいぜいMIDIを再生するのが精一杯でしたよね。でも、AppleのPowerbook G3が登場したことで、デジタル上で音楽のエディットができるようになりました。ただ、その後出てきたテクノロジーの多くは、どちらかといえば消費側のものです。

そういった状況の中で、2010年代後半にはモジュラーシンセ人気が高まりアナログ回帰が進むということがありましたが、2020年代はAIに代表される新しい世代のデジタル技術が創作のためのテクノロジーとしてもう一度注目されるようになる気がしています。

ーーNeutoneのビジョンを共有できるコミュニティ拡大の取り組みとしてはどのような動きをされているのでしょうか？

徳井：まずは地道にやっていくということで、海外のアーティストなど実際にNeutoneのAIツールの使用者にインタビューをして、事例を貯めていくという取り組みがあります。あとはコミュニティーのメンバーは日本だけでなく世界各地に散らばっているので、自分達でライブパフォーマンスを行うといったことにも取り組んでいます。

僕個人で言えば、2023年はSonarやMutekに出演するなど、海外でも4箇所ほどパフォーマンスしましたが、僕が開発に関わっていることを知らない現地の方から「最近AIで音楽を作っているんだけど、Neutoneというツールがあってすごく面白いから使ってみて！」とおすすめされることもありました（笑）。だから今後もオンラインのコミュニティ内に限らず、現場に出てNeutoneの可能性を提示していきたいですね。

ーー有料プラグイン販売の話もありましたが、今後のNeutoneの展望について改めて教えてもらえますか？

徳井：まず、サステナブルにプラグインを作っていくためには収益化する必要性を感じているので、有料のプラグイン販売やAIの学習用プラットフォームを提供していくつもりです。Neutone Morphoに関しては、ベータ版の公開を近日中に予定しています。興味を持たれた方は、ぜひこちらからメールアドレスをご登録ください。

■https://neutone.ai/morpho

それとリズムのループやウワモノなどのループ素材を生成するタイプのプラグインも公開する予定ですので楽しみにしていてください。今後はアーティストとのコラボも増やしていきたいですね。

画像より抽象度が高い音楽。だからこそAIを使っても人の想像力が介入する余地がある

ーーかねてから、AIと音楽クリエイティブの可能性を研究されてきただけでなく、アーティストとしても活動されている徳井さんとしては、2023年に起きた音楽AIをめぐる動きにどのような印象をお持ちでしょうか？

徳井：全般的には画像の分野から少し遅れて同じことが音楽の分野でも起きているように思います。画像の分野に比べると、音楽の分野は大体1年半から2年くらい遅れているので、2023年になってようやくStable diffusionなどが出てくる1年くらい前の画像生成AIレベルの音楽生成AIツールが出てきた印象です。今年くらいには現行の画像生成AIで出力した画像を見た時に感じるクオリティと同程度のレベル感で音楽を出力できる音楽生成AIが登場するのではないでしょうか？

またAIのモデル自体も巨大化してきたため、大企業がどんどん参入し、その事業規模でないとなかなか学習できないようにもなってきたと思っています。あとはAI音声カバーに関して著作権や肖像権など権利周りの問題も明らかになるなど、テクノロジーのポジティブな面だけでなくネガティブな面も見えてくるようになりました。

とはいえ、画像の分野ではアーティストがAIの新しい使い方や表現の仕方を模索して、それがまたテクノロジーに還元されていく流れもすごい勢いで起きています。2024年はそれに近いことが音楽の分野でも起きるのではないでしょうか。

音楽よりもAI技術の活用が進んでいる画像、映像分野に関しても、AIならではの新しい表現はまだあまりない気もしていて。その点では音楽の方が画像よりもそういった表現が先に生まれる可能性があると思いますね。

ーーその理由を教えてもらえますか？

徳井：音楽の場合、AIの出力するものと人間が思い描く完成形の距離が遠いからです。画像の場合はAIで出力したものでもそれなりに見えてしまうから、ちょっと編集すれば満足できる形になる可能性が高い。

これは自分が音楽好きだからなのかもしれませんが、音楽の場合、AIが出力したものをサンプリングするなど、いろいろな過程を経て、ようやく最終的なアウトプットになると思うんですよ。そういう意味では画像よりも音楽の方が表現としても抽象度が高いため、そこには人の想像力がまだまだ介入する余地があると思っています。