NEUTRINOへようこそ

NEUTRINO – AI Singing Voice Generatorをダウンロードいただきありがとうございます。
本記事ではインストール方法や使い方などを説明します。
※下記の内容はNEUTRINO本体に付属のReadme（お読みください）.pdfにも記載されています。そちらも併せてご覧ください。

はじめに

NEUTRINO – AI Singing Voice Generator は最新の歌声生成AIを搭載した歌声シンセサイザーです。本ソフトウェアはフリーウェアとして提供されており、楽譜から発声タイミングや音の高さ・声質・かすれ具合などをAIが推定し、そのデータをもとにvocoderで音声を合成します。

実際にボーカリストが楽曲を歌ったデータから特徴を抽出しており、声質だけでなく、歌いまわしや癖までも最新の歌声生成AIで忠実に再現します。歌詞とメロディーを入力するだけで簡単に歌わせることができ、まるで本物の歌手に依頼するような感覚で楽曲制作を進められます。

NEUTRINOの正式リリースから一年が経ち、第二世代 Muon（ミューオン）へと進化しました。アルゴリズムやモデルを全面的にリニューアルし、最新のDiffusionモデルを採用することで、より肉声感のある、歌唱表現豊かな歌声の生成が可能になりました。さらに推論ごとに音声が変化し、品質や処理速度の調整も可能になるなど、機能面でも大幅に向上しています。

本ソフトの名称には、まだ聴いたことのない新しい楽曲やジャンルを開拓してほしいという願いが込められています。あなたの創作と発見の一助になれば幸いです。

ダウンロード

NEUTRINOダウンロード

2025年1月現在、2名の歌声ライブラリ（めろう / Merrow、ナクモ / NAKUMO）が同梱されています。その他の歌声ライブラリは、別途ダウンロードの上、model フォルダ内にコピーしてご利用ください。
制作した音声ファイルについては、各歌声ライブラリの利用規約の範囲でご利用ください。詳細はmodelフォルダ以下の各歌声ライブラリ付属のlicenseファイルをご覧ください。

インストール

任意のフォルダにダウンロードしたファイルを解凍してください。
Run.bat（Windows）またはRun.sh（macOS、Linux）をダブルクリックで実行してください。実行後、outputフォルダ内に”sample1.wav”出力されていれば正常に動作しています。アンインストールする場合は、フォルダごと削除してください。

オンライン版のセットアップ手順はこちらの記事をご覧ください。
Linuxでのセットアップ手順はこちらの記事をご覧ください。

各モジュールについて

musicXML_to_label

Input  : score/musicxml/*.musicxml
Output : label/full/*.lab
       : label/mono/*.lab

MusicXML形式の楽譜をニューラルネットワークの入力に適したラベル形式（label）に変換します。
楽譜作成にはMuseScoreを推奨しています。 [ファイル]->[エクスポート]でファイルの種類を非圧縮MusicXMLファイルに設定することで、MusicXML形式のファイルを出力できます。
他のソフトでは出力ファイルの拡張子が”*.xml”となる場合があります。その場合は、Run.batのSUFFIXをxmlに変更してください。

NEUTRINO

# predict timing 
Input  : label/full/*.lab
       : model/MERROW/*.bin
Output : label/timing/*.lab

# predict acoustic feature 
Input  : label/full/*.lab
       : label/timing/*.lab
       : model/MERROW/*.bin
Output : output/*.mel-spec, *.f0, *.mgc, *.bap

labelから発声タイミングと音の高さ・声質・声のかすれ具合を推定します。
ModelDirで歌声ライブラリを変更することができます。（MERROW or NAKUMOなど）
NumThreadsで使用するプロセッサ数を変更できます。

StyleShiftで楽譜全体をNキー上げて打ち込み、ピッチ変更機能でNキー分下げるような処理を行うことができます。Run.batの”StyleShift”という項目を-5～5ぐらいの値に設定してお試しください。例えば、”2″に設定すると2個上のキーの歌い方、”-2″にすると2個下のキーの歌い方になります。上手く使うことで、得意な音域の歌い方にしたり、低いキーの落ち着いた歌い方を出すことができます。

NSF

Input  : output/*.mel-spec, *.f0
	 model/MERROW/*.bin
Output : output/*.wav

音の高さ・声質・声のかすれ具合から音声波形をニューラルネット（NSF）で合成します。NSFはニューラルネットワークを用いて肉声に近い高品質な音声波形を高速に生成する手法の一つです。低音の詰まった感じ（over-smoothing）が無く、クリアでアタック感がある音声です。適正音域であれば、音質的な外れがほぼ無く品質も安定して高いです。

WORLD

Input  : output/*.f0, *.mgc, *.bap
Output : output/*.wav

音の高さ・声質・声のかすれ具合から音声波形をボコーダー（WORLD）で合成します。
NumThreadsで使用するプロセッサ数を変更できます。
PitchShiftで音高を変えられます。
FormantShiftで声質を変えられます。上げると子供っぽく、下げると大人っぽくなります。（0.85-1.15辺りがお勧めです。）
SmoothPitchでピッチを滑らかにできます。0～100[%]の間で強さを設定できます。
SmoothFormantでフォルマントを滑らかにできます。0～100[%]の間で強さを設定できます。
EnhanceBreathinessで息成分を強くすることができます。0～100[%]の間で強さを設定できます。声に色々な変化を加えられる一方で、アタックが弱くなったりノイズが大きくなる場合がございます。歌声ライブラリによって掛かり方も異なりますので、適宜調整してください。

NEUTRINOの使い方（Windows版）

NEUTRINOをWindows環境で使用する際の手順を説明します。

1️⃣ 楽譜（MusicXML）の作成

MuseScoreなどの楽譜作成ソフトを使用し、xxx.musicxml を作成します。
作成したxxx.musicxmlを score/musicxml フォルダ内に配置します。

2️⃣ 設定の編集

Run.bat をメモ帳で開きます。
BASENAMEの値を作成したmusicxmlのファイル名に変更します。

3️⃣ コマンドプロンプトの起動

NEUTRINO のフォルダをエクスプローラーで開きます。
アドレスバーに cmd と入力し、Enter を押します。
📌 参考: コマンドプロンプトを素早く起動する方法（「現在開いているフォルダから直接開く方法」をご参照ください。）

4️⃣ NEUTRINOの実行

コマンドプロンプトで、コマンド（”Run.bat”）を入力し Enter を押します。
output フォルダ内に音声ファイルが出力されます。
実行ログを出力したい場合は、”Run.bat > log.txt”のように入力してください。
これにより、log.txt に処理の詳細が記録されます。

以上でNEUTRINOの基本的な使い方（Windows版）の説明は完了です。

必要動作環境

OS	windows 10 / 11 macOS (Apple Silicon / Intel) オンライン (Google Colab) linux (Ubuntu)
CPU	Intel Core i3 AMD RYZEN 3 Apple M1 / Intel Core i3
メモリ	8GB
ディスク空き容量	10GB以上の空き容量

推奨動作環境

必要動作環境の方も制作をお楽しみいただけますが、より快適な制作をお望みの場合、推奨動作環境を満たすことをお勧めします。

OS	windows 10 / 11 macOS (Apple Silicon) オンライン (Google Colab)
CPU	Intel Core i3（第12世代以降） AMD RYZEN 3（Ryzen 5000シリーズ以降） Apple M1
GPU（windows版のみ）	NVIDIA製のGPU（VRAM 6GB）
メモリ	16GB 以上
ディスク空き容量	10GB以上の空き容量

備考

Windows版の一部機能（GPUによる高速レンダリング）をご利用いただくには、NVIDIA製のGPU（VRAM 6GB以上推奨）が必要です。ご使用前にNVIDIAのドライバーを最新のものにアップデートしてください。
※参考：アップデート方法はこちら

オンライン版ではNEUTRINOの全機能をご利用いただけます。ウェブブラウザ上で動作が完結するため、 NVIDIA製のGPUは不要で、スマートフォンからでも動作します。
オンライン版のセットアップ手順はこちらの記事をご覧ください。

その他詳細は以下の記事をご覧ください。
・NEUTRINO – Muon v2.x系アップデート
・使用可能な文字一覧
・MusicXMLについて
・NEUTRINO 各Version置き場

学習データについて

NEUTRINOの歌声ライブラリは、声優・演者様の許諾のもと収録した音声データ、または大学などの公的機関が公開している音声データのみを使用して学習されています。既存の学習済みモデルは一切使用せず、すべてフルスクラッチで学習を行っているため、権利的・倫理的にクリーンなモデルとなっており、安心してご利用いただけます。

音声変換・声質変換ツール（VC ツール）でのご利用について

NEUTRINOは、AI及び機械学習を用いた音声変換・声質変換ツールでの利用を禁止しております。詳しくは、利用許諾契約書をご確認ください。

お願い

感想や要望、バグなどがございましたら、お問い合わせフォームまたはメールにてご連絡ください。

ご支援について

・ニコニ・コモンズ

ニコニ・コモンズに「NEUTRINO – AI Singing Voice Generator」を登録しております。
ニコニコに作品を投稿する際は、親作品として登録していただければ幸いです。

・pixivFANBOX

pixivFANBOXにて日頃の製作の進捗などを投稿しております。
いただいた支援金は、活動費・機器購入費・収録関連費に充てさせていただきます。もしよろしければ、こちらからご支援をよろしくお願いいたします。

謝辞

本ソフトウェアの制作にあたり、素晴らしいソフトウェア・データベースをご提供いただいた皆様に深く感謝いたします。また、テストやデザインなどご協力・ご助言いただいた皆様にも心よりお礼申し上げます。

NEUTRINOへようこそ