NEUTRINO – Muon v2.x系アップデート

NEUTRINO – Muon v2.x系アップデート

NEUTRINO – Muon v2.x 概要

NEUTRINOの正式リリースから一年が経ち、第二世代となる Muon(ミューオン)へと進化しました。アルゴリズム・モデルを全面的に刷新し、最新の生成AI技術 Diffusion モデルを採用。これにより、より自然で表現力豊かな歌声を生成できるようになりました。さらに、推論ごとに音声が変化する特性を持ち、品質や処理速度の調整も可能になるなど、機能面でも大幅な向上を実現しています。皆様の音楽制作にお役立ていただければ幸いです。

pixivFANBOXにてテスト版を先行公開しております。
もしよろしければ、ご支援・ご助力をいただけますと幸いです。

目次

ダウンロード

下記のリンクより、最新版のNEUTRINOをダウンロードできます。
NEUTRINOダウンロード
NEUTRINOダウンロード(Google Drive)

また、オンライン版のセットアップ手順についてはこちらの記事を、Linuxでのセットアップ手順についてはこちらの記事をご参照ください。

アップデート履歴

NEUTRINO – Muon v2.7.0.EX (2025/3/18)

・Windows(調整支援ツール同梱版)
調整支援ツールを同梱したNEUTRINOカスタマイズ版をリリースしました。(v2.7.0.EX)

NEUTRINO – Muon v2.7.0 (2025/1/20)

・共通
ピッチ特徴量(f0)の推定精度を改善
WORLD 特徴量(mgc / bap)の推定精度を改善
デフォルトの歌声ライブラリ(めろう・ナクモ)をv2.6.x -> v2.7.xに更新

・Windows
CUDAのバージョンを12.6 -> 12.6 Update 3に更新
cuDNNのバージョンを9.3 -> 9.6に更新

・online
CUDAのバージョンを12.6 -> 12.6 Update 3に更新
cuDNNのバージョンを9.3 -> 9.6に更新

NEUTRINO Diffusion – Muon v2.6.1 (2024/10/11)

・online
前回のバージョンアップで行ったGoogle Colab のノートブックの設定の変更について、再度変更を行いました。(standard版→advanced版、WORLD処理の追加)

NEUTRINO Diffusion – Muon v2.6.0 (2024/9/20)

・共通のアップデート
ピッチ特徴量(f0)の推定精度を改善
WORLD 特徴量(mgc / bap)の推定精度を改善
onnxruntime フレームワークを v1.17.1 -> v1.19.2 に更新
デフォルトの歌声ライブラリ(めろう・ナクモ)を v2.5.x -> v2.6.0 に更新

・windows版のアップデート
CUDAのバージョンを 12.3 -> 12.6 に更新
cuDNNのバージョンを 8.x -> 9.3 に更新

・オンライン版のアップデート
CUDAのバージョンを 12.3 -> 12.6 に更新
cuDNNのバージョンを 8.x -> 9.3 に更新
CUDA・cuDNNのバージョン変更に伴い、CUDA関連のファイルを追加
Google Colabのノートブックの設定を変更(advanced版→standard版、WORLD処理の削除など)

NEUTRINO Diffusion – Muon v2.5.1 (2024/5/10)

・共通
ピッチ特徴量(f0)の推定精度を改善しました。
WORLD 特徴量(mgc / bap)の推定精度を改善しました。

NEUTRINO Diffusion – Muon v2.5.0 (2024/3/13)

・共通
onnxruntime フレームワークのバージョンをアップデートしました。(v1.16.3 -> v1.17.1
デフォルトの歌声ライブラリ(めろう)をアップデートしました。(v2.4.1 -> v2.5.2
デフォルトの歌声ライブラリにナクモを追加しました。

・windows
CUDAのバージョンをアップデートしました。(11.8 -> 12.3)

・online
CUDAのバージョンをアップデートしました。(11.8 -> 12.3)
CUDA12対応に伴い、CUDA関連のファイルを整理しました。

NEUTRINO Diffusion – Muon v2.4.0 (2024/1/12)

・共通
ピッチ特徴量(f0)の推定精度を改善しました。
WORLD 特徴量(mgc / bap)の推定精度を改善しました。
onnxruntime フレームワークのバージョンをアップデートしました。(v1.16.1 -> v1.16.3
デフォルトの歌声ライブラリ(めろう)をアップデートしました。(v2.3.0 -> v2.4.1

・macOS
コンパイラ変更に伴い、同梱ファイルの整理を行いました。

NEUTRINO Diffusion – Muon v2.3.2 (2023/12/16)

・online
Google Colabの仕様変更に伴い、CUDA関連のファイルを追加しました。

NEUTRINO Diffusion – Muon v2.3.1 (2023/10/30)

・共通
ヘルプ表示、ファイルの参照先などの軽微な修正を行いました。

NEUTRINO Diffusion – Muon v2.3.0 (2023/10/27)

・共通
ピッチ特徴量(f0)の推定精度を改善しました。
WORLD 特徴量(mgc / bap)の推定精度を改善しました。
onnxruntime フレームワークのバージョンをアップデートしました。(v1.15.0 -> v1.16.1
デフォルトの歌声ライブラリ(めろう)をアップデートしました。(v2.2.1 -> v2.3.0
モデルのロード完了時に進捗を表示するように変更しました。

・windows
NEUTRINO のGPU 版の一部処理をCPU からGPU に変更しました。

・online
NEUTRINO のGPU 版の一部処理をCPU からGPU に変更しました。

NEUTRINO Diffusion – Muon v2.2.0 (2023/07/14)

・共通
ピッチ特徴量(f0)の推定精度を改善しました。
WORLD 特徴量(mgc / bap)の推定精度を改善しました。
NSF の出力音量を変更しました。
WORLD の出力音量を変更しました。

NEUTRINO Diffusion – Muon v2.1.0 (2023/06/16)

・共通
ピッチ特徴量(f0)の推定精度を改善しました。
WORLD 特徴量(mgc / bap)の推定精度を改善しました。
onnxruntimeフレームワークのバージョンをアップデートしました。(v1.14.1 -> v1.15.0

NEUTRINO Diffusion – Muon v2.0.0 (2023/04/28)

・共通
初オープンリリース版

備考

・スタイルシフトオプション

このオプションは上級者向けの設定となります。内部的には、楽譜全体をNキー上げて出力した後、ピッチ変更機能でNキー分下げる、という処理を行います。これを活用することで、得意な音域での歌唱や、低いキーの落ち着いた歌い方を再現することが可能です。
まずはRun.batのStyleShiftを-3~3程度の整数値に設定して試すのがおすすめです。例えば、”2″に設定すると2キー上の歌い方を、”-2″にすると2キー下の歌い方をトレースします。
さらに応用的な使い方として、”StyleShift=-1″, “StyleShift=0”, “StyleShift=1″のように複数パターンを出力し、それぞれの良い部分を選択することで、まるで複数テイクを収録したような制作フローを構築することも可能です。

・NSFについて

メモリ使用量は、楽譜内のフレーズの長さに依存します。 休符やブレス記号で囲まれた区間が1フレーズとして認識されるため、長いフレーズほど多くのメモリを消費します。お使いのメモリ / GPUメモリが少ない場合、正常に動作しない可能性がありますのでご注意ください。

・WORLDのオプション

ピッチ平滑化(SmoothPitch)、フォルマント平滑化(SmoothFormant)、息成分強調(EnhanceBreathiness)の各オプションを使用すると、歌声のピッチやフォルマントを滑らかにしたり、息成分を強調したりすることができます。
それぞれ0~100%の範囲でエフェクトの強さを設定可能で、声にさまざまな変化を加えられます、ただし、設定値によってはアタックが弱くなる、ノイズが増加する可能性があるため適宜調整してください。また、歌声ライブラリによって効果のかかり方が異なるため、楽曲や用途に応じて最適な設定を探してみてください。

・オンライン版について

オンライン版ではNEUTRINOの全機能をご利用いただけます。ウェブブラウザ上で動作が完結し、Cloud GPUによる高速レンダリングを活用できるため、高性能なPCが無くても快適にご使用いただけます。
また、スマートフォンでも動作可能ですので、場所を選ばず手軽にお試しいただけます。
オンライン版のセットアップ手順については、こちらの記事をご参照ください。

・入力可能な歌詞

「未定義の歌詞、もしくは歌詞が入力されていない音符があります。該当の音符の歌詞をひらがな・カタカナに修正してください。」というエラーメッセージが表示された場合、音声の生成が停止されます。
このエラーが発生した際は、musicXMLtoLabel.exeの実行ログに該当の音符の小節番号と歌詞が表示されますので、歌詞をひらがなまたはカタカナに修正してください。
また、ログ上で「””」のように何も表示されていない場合は、空白の歌詞(歌詞が入力されていない)の音符があります。その場合は、適宜歌詞を入力してください。
使用可能な文字については、ひらがな・音素一覧表をご確認ください。

・GPUについて

Windows版でGPUによる高速レンダリングを利用するには【NVIDIA製のGPU(6GB以上のGPUメモリを推奨)】が必要です。使用前にNVIDIAのドライバーを最新のものへアップデートをしてください。
※参考:アップデート方法はこちら

また、本ソフトウェアは複数枚のGPUでのレンダリングにも対応しており、デフォルトではマルチGPU設定になっています。NEUTRINOおよびNSFのオプション(-m)をシングルGPU(-g {GPU番号})に変更すると、指定したGPのみを使用することが可能です。もし複数GPUでの処理が上手くいかない場合はこの設定をお試しください。

なお、NVIDIA製のGPUが見つからない場合は、「CPUモードで実行します」というメッセージとともに自動でCPU処理に移行します。オプション(-m)を外すことで、CPUモードでの動作を明示的に指定することも可能です。

NEUTRINO – Electron v1.xからの変更点など

・NEUTRINO

アルゴリズム・モデルを全面的に刷新し、推論精度・処理速度・ファイルサイズを改良しました。全体的な安定性が向上し、ビブラートなどの歌唱表現もより豊かになっています。

・NSF

新バージョンではNSFを主体としたシステムへ最適化し、音声品質の向上を実現しました。これにより、より肉声感のある豊かな歌唱表現を生成できるようになりました。

・WORLD

新バージョンではNSFを主体としたシステムへ移行し、WORLDはサブのボコーダーとなりました。NSFとの差別化を図るために、WORLDの音色は伝統的なボコーダーらしさ質感を維持しつつ、歌い方の滑らかさを重視した設計となっています。楽曲の雰囲気や求める表現に応じて、適宜使い分けていただければ幸いです。

・処理速度の選択について

NEUTRINO・NSFの処理速度を「advanced / standard / elements」の三段階から選択できるようになりました。用途やPCのスペックに応じて最適なモードをご利用ください。

* * * * * * * * * *
・advanced(InferenceMode=4)
高品質・GPU向け(48kHz / 16bit)
・standard(InferenceMode=3)
中品質・CPU向け(Passmark score 10000~推奨)(48kHz / 16bit)
・elements(InferenceMode=2)
低品質・ローエンドCPU向け(Passmark score 2500~推奨)
24kHz / 16bit (NSF)、48kHz / 16bit(WORLD)
* * * * * * * * * *
参考(CPU性能比較表【2025年最新版】)
最新のゲーミングPCクラスから、10年前のPCクラスまで幅広い環境で動作するよう設計されています。ご利用のPCのスペックや用途に応じて適切なモードをご選択ください。

・出力音声について

生成ごとに音声が変化する仕様となりました。
まるでボーカリストにリテイクを依頼するような感覚で制作を進めることができます。最初に複数のテイクを出力し、その中からお気に入りのテイクを選択することで、より高いクオリティの仕上がりを実現できます。

限定配布ライブラリ(琴葉茜・葵・夜語トバリ)の動作確認について

すべての歌声ライブラリにおいて、必要な動作環境に差異はございません。
限定配布ライブラリ(琴葉茜・琴葉葵・夜語トバリ)のご利用をご検討の際は、他の歌声ライブラリで一度動作確認を行っていただくと確実です。

既知の不具合

・推奨音域外で不自然な音が出力される

StyleShift・PitchShiftなどで元となる音域を変更すると改善される場合がございます。

・一部の箇所にノイズが発生している

再度出力していただくと改善される場合がございます。

お願い

感想やご要望、不具合のご報告などがございましたら、メールまたはお問い合わせフォームからお寄せください。

ご支援について

PIXIV FANBOX

皆さまからいただいた支援金は、活動費・機器購入費・収録関連費に充てさせていただいております。
pixivFANBOXでは、月1回程度のペースでβテスト版の先行配布や、日頃の製作の様子などを投稿しております。 なお、各プランで内容に差はありませんので、ご支援いただける範囲で応援していただければ幸いです。

ニコニ・コモンズ

ニコニ・コモンズに「NEUTRINO – AI Singing Voice Generator」を登録しております。
ニコニコに作品を投稿する際は、親作品としてご登録いただければ幸いです。

追伸

不具合やバグをご報告いただいた皆様に、心より感謝申し上げます。
引き続き、ご支援・ご助力のほど何卒よろしくお願い申し上げます。

Tags: