NEUTRINO -NEURAL SINGING SYNTHESIZER – ver.0.2系アップデート
下記のリンクより最新版がダウンロードできます。
NEUTRINO 最新Version置き場
オンライン版のセットアップ手順はこちらの記事をご覧ください。
Linuxでのセットアップ手順はこちらの記事をご覧ください。
Version.0.2系概要
肉声に近い高品質な音声波形を高速に生成する手法の一つであるNSFに対応したバージョンになります。
WORLDと比較してもワンランク音質が上で、最高品質クラスの手法（WaveNet）で生成された音声と同等の品質であると言われています。
（参考：国立情報学研究所ニュースリリース：自然な音声を高速に合成可能な新手法を開発）
Windows版でNSFで合成するには【NVIDIA製のGPU（3GB以上のGPUメモリを推奨）】が必要です。
ご利用の前にNVIDIAのドライバーを最新のものへアップデートをしてください。
※参考：アップデート方法はこちら
GTX 1050ti /1060 / 970が推奨スペックを満たしつつ、中古で10,000円前後なのでオススメです。
また、PCゲーム・グラフィックス用途など普通のGPUとしても問題無く使えますのでご安心ください。
もしNVIDIA製のGPUをお持ちでない場合でも、オンライン版でNSFを誰でも動かすことができます。
ウェブブラウザ上で動作が完結するため、GPUも不要でスマートフォンからでも動作します。
この機会にぜひお試しください。
オンライン版のセットアップ手順はこちらの記事をご覧ください。
備考
- NSF（NNベースのボコーダー全般）は48kHzの音声を直接推定するのが非常に困難なため、24kHzでの出力となっております。
- 「VCRUNTIME140_1.dllが見つからないため…」というようなエラーが発生する場合はこちらからVisual Studioランタイムをインストールしてください。ページ下部の「その他のツールとフレームワーク」→「 Visual Studio 2019 の Microsoft Visual C++ 再頒布可能パッケージ 」→「x64を選択しダウンロード」
- NSFを使わない場合は、Run.batのNSFの行をコメントアウト（”:”を先頭に付ける）してください。 NVIDIA製のGPUが無い場合も同様にNSFの行をコメントアウトしてください。
- 複数のGPUが刺さっている場合は、NSF/Run.bat内の”set CURRENNT_CUDA_DEVICE=0″を変えることでGPUを選択できます。 お使いのGPUの番号に合わせて設定してください。
- NSFではピッチシフト・フォルマントシフトによる品質劣化が大きいため現在は無効にしてあります。 NSFの使い方が浸透してきたら有効にする予定です。
- GPUのメモリ使用量は、楽譜中のフレーズの長さに依存します。 休符またはブレス記号で囲まれた区間が1フレーズで、1秒辺り100MBほど使用します。 例えば15秒のフレーズがあると1.5GBほど使用する計算となり、GPUメモリが2GBだと動作しない可能性がありますのでご注意ください。
macOS版のNSFについて
macOS版のNSF移植は保留とさせていただきます。
Mojave以降はNVIDIAのGPUが使えないことと、macOS専用にMetal APIコードを移植・保守し続けるのが個人開発では困難なためです。
macOSでNSFを使う場合はオンライン版をご利用ください。
ローカルPCでWORLDまで動作させた後にNSFのみオンライン版で合成するとスムーズかと思います。
Version.0.200アップデート内容(2020/04/17)
- NSFの初回起動時の高速化・GPUに合わせた最適化を行いました。
- NSFの実行に失敗した際に無音ファイルが生成されていた問題を修正しました。
- Windows版のNSFで不足していたVisualStudio関連のライブラリを追加しました。
- フォルダ名にスペースが含まれている場合にNSFが動作しなかった問題を修正しました。
- （2020/4/20追記） macOS版をVersion.0.200にアップデートいたしました。
Version.0.200βアップデート内容(2020/04/10)
- Windows版の合成方式にNSFを追加しました。
- 歌声ライブラリ（謡子）がNSFに対応いたしました。
- NSFの入出力を他のモジュールと同じ形式に変更しました。
- オンライン版をローカルで動かしたときにライブラリのパスが通っていなかった不具合を修正しました。
Version.0.200αアップデート内容(2020/03/20)
- (2020/03/22追記) オンライン版を公開しました。
- オンライン版の合成方式にNSFを追加しました。
- タイミング推定ミス（音素飛ばしなど）を緩和しました。
- version.0.103以降で発生していたブレス音のノイズを緩和しました。
- NEUTRINOにランダム生成オプション(-r)を追加しました。
- オンライン版の公開に伴いLinux版をオンライン版に統合しました。
- 歌声ライブラリ（東北きりたん）がNSFに対応いたしました。
- 謡子のモデルを再学習しました。
追伸
配布方法をGoogleDrive経由に変更しました。
試験的に運用してみて問題が無ければVectorから移行予定です。
不具合・バグをご報告いただきました方々に感謝いたします。
引き続きご支援、ご助力頂けますよう心よりお願い申し上げます。
