cosyvoice 音声生成

👉🏻 Cosyvoice 👈🏻

Fun-Cosyvoice 3.0: デモ; 論文; Modelscope; Huggingface; 評価

Cosyvoice 2.0: デモ; 論文; Modelscope; HuggingFace

Cosyvoice 1.0: デモ; 論文; Modelscope; HuggingFace

注目🔥

Fun-Cosyvoice 3.0 は、大規模言語モデルを基盤とした高度な音声合成システムです。日常的な用途に適したゼロショット多言語音声合成を実現しながら、発話の連続性、話者の類似性、韻律を向上させます。

主な機能

• 対応言語：中国語、英語、日本語、韓国語、ドイツ語、スペイン語、フランス語、イタリア語、ロシア語を含む、広く使用されている9言語に対応しています。さらに、18種類以上の中国語方言・アクセントにも対応し、多言語および言語間のゼロショット音声クローンもサポートします。
• コンテンツの一貫性と自然さ：話者の類似性と自然な韻律を保ちながら、発話内容を安定して維持します。
• 発音インペインティング：中国語のピンインと英語のCMU音素を受け付け、実運用のワークフローでより精密な発音制御を実現します。
• テキスト正規化：従来のフロントエンドモジュールを必要とせず、数字、記号、さまざまな形式のテキストを読み上げます。
• バイストリーミング：テキスト入力ストリーミングと音声出力ストリーミングに対応し、詳細な音声品質を維持しながら、約150msのレイテンシーを実現できるよう設計されています。
• インストラクション対応：言語、方言、感情、速度、音量など、発話に関する各種指示に対応します。

ロードマップ

• 2025/12
  • Fun-Cosyvoice3-0.5B-2512のベースモデル、RLモデル、トレーニング／推論スクリプトをリリース
  • Fun-Cosyvoice3-0.5BのModelscope Gradioスペースをリリース
• 2025/08
  • Triton TRT-LLMランタイム対応とCosyvoice2 GRPOトレーニング対応を追加
• 2025/07
  • Fun-Cosyvoice 3.0の評価セットをリリース
• 2025/05
  • Cosyvoice2-0.5B vLLM対応を追加
• 2024/12
  • 25HzのCosyvoice2-0.5Bモデルをリリース
• 2024/09
  • 25Hz Cosyvoice-300Mベースモデルを公開
  • Cosyvoice-300M音声変換機能を追加
• 2024/08
  • LLMの安定性向上のため、繰り返しを考慮したサンプリング推論を追加
  • KVキャッシュとSOTA最適化によるストリーミング推論のサポートを追加
• 2024/07
  • フローマッチング学習のサポートを追加
  • ttsfrdが利用できない場合のWeTextProcessingサポートを追加
  • FastAPIサーバーおよびクライアントのサポートを追加

評価

インストール

クローンしてインストール

• リポジトリをクローン

  git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
  # If the submodule download fails because of network conditions, run the following command again
  cd CosyVoice
  git submodule update --init --recursive

• Condaをインストール：Minicondaのドキュメントを参照してください。

• Conda環境を作成：

  conda create -n cosyvoice -y python=3.10
  conda activate cosyvoice
  pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
  # If you encounter sox compatibility issues
  # ubuntu
  sudo apt-get install sox libsox-dev
  # centos
  sudo yum install sox sox-devel

モデルのダウンロード

事前学習済みの Fun-CosyVoice3-0.5B, CosyVoice2-0.5B, CosyVoice-300M, CosyVoice-300M-SFT, CosyVoice-300M-Instruct と CosyVoice-ttsfrd リソースをダウンロードすることをお勧めします。

# modelscope SDK model download
from modelscope import snapshot_download
snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')
snapshot_download('iic/CosyVoice2-0.5B', local_dir='pretrained_models/CosyVoice2-0.5B')
snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('iic/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')
snapshot_download('iic/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')
snapshot_download('iic/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')

# for overseas users, huggingface SDK model download
from huggingface_hub import snapshot_download
snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')
snapshot_download('FunAudioLLM/CosyVoice2-0.5B', local_dir='pretrained_models/CosyVoice2-0.5B')
snapshot_download('FunAudioLLM/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('FunAudioLLM/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')
snapshot_download('FunAudioLLM/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')
snapshot_download('FunAudioLLM/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')

必要に応じて、 ttsfrd リソースを展開し、テキスト正規化を改善するためにそのパッケージをインストールしてください。

この手順は任意です。実行しない場合、Cosyvoiceはデフォルトでwetextを使用します。

cd pretrained_models/CosyVoice-ttsfrd/
unzip resource.zip -d .
pip install ttsfrd_dependency-0.1-py3-none-any.whl
pip install ttsfrd-0.4.2-cp310-cp310-linux_x86_64.whl

基本的な使い方

最良の結果を得るには、 Fun-CosyVoice3-0.5B を使用し、サポートされている各モデルの例に従ってください。

python example.py

vLLMの使い方

Cosyvoice2とCosyvoice3は、 V1エンジンを使用するvLLM 0.11.x+ と レガシーモードのvLLM 0.9.0に対応しています。これより古いリリースはCosyvoiceの推論に対応していません。また、検証済みのリリース間にあるバージョンでは、追加の検証が必要になる場合があります。

vLLMには特定の依存関係が必要なため、必要に応じて別の環境を作成してください。

conda create -n cosyvoice_vllm --clone cosyvoice
conda activate cosyvoice_vllm
# for vllm==0.9.0
pip install vllm==v0.9.0 transformers==4.51.3 numpy==1.26.4 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
# for vllm>=0.11.0
pip install vllm==v0.11.0 transformers==4.57.1 numpy==1.26.4 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
python vllm_example.py

Webデモを起動

Webデモを使ってCosyvoiceにすぐ慣れ、選択したモデルに合わせて例を調整してください。

現在のデモの詳細については、作成ワークスペースをご覧ください。

# change iic/CosyVoice-300M-SFT for SFT inference, or iic/CosyVoice-300M-Instruct for instruct inference
python3 webui.py --port 50000 --model_dir pretrained_models/CosyVoice-300M

高度な使用方法

上級ユーザー向けのトレーニングおよび推論スクリプトは、 examples/libritts.

デプロイ用にビルド

オプションのサービスデプロイを行うには、次の手順を実行してください。

cd runtime/python
docker build -t cosyvoice:v1.0 .
# change iic/CosyVoice-300M to iic/CosyVoice-300M-Instruct for instruct inference
# for grpc usage
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/grpc && python3 server.py --port 50000 --max_conc 4 --model_dir iic/CosyVoice-300M && sleep infinity"
cd grpc && python3 client.py --port 50000 --mode <sft|zero_shot|cross_lingual|instruct>
# for fastapi usage
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/fastapi && python3 server.py --port 50000 --model_dir iic/CosyVoice-300M && sleep infinity"
cd fastapi && python3 client.py --port 50000 --mode <sft|zero_shot|cross_lingual|instruct>

Nvidia TensorRT-LLMを使用したデプロイ

TensorRT-LLMは、標準的なHugging Face Transformers実装と比較して、Cosyvoice2言語モデルを大幅に高速化できます。

cd runtime/triton_trtllm
docker compose up -d

デプロイの詳細については、作成ワークスペースをご覧ください。

ディスカッションとコミュニケーション

質問や技術的なディスカッションは、Cosyvoiceコミュニティワークスペースで共有できます。

QRコードをスキャンして、公式Cosyvoiceディスカッショングループに参加することもできます。

謝辞

1. コードの大部分を、 FunASR.
2. コードの大部分を、 FunCodec.
3. コードの大部分を、 Matcha-TTS.
4. コードの大部分を、 AcademiCodec.
5. コードの大部分を、 WeNet.

引用

@article{du2024cosyvoice,
  title={Cosyvoice: A scalable multilingual zero-shot text-to-speech synthesizer based on supervised semantic tokens},
  author={Du, Zhihao and Chen, Qian and Zhang, Shiliang and Hu, Kai and Lu, Heng and Yang, Yexin and others},
  journal={arXiv preprint arXiv:2407.05407},
  year={2024}
}

@article{du2024cosyvoice,
  title={Cosyvoice 2: Scalable streaming speech synthesis with large language models},
  author={Du, Zhihao and Wang, Yuxuan and Chen, Qian and Shi, Xian and Lv, Xiang and Zhao, Tianyu and others},
  journal={arXiv preprint arXiv:2412.10117},
  year={2024}
}

@article{du2025cosyvoice,
  title={CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training},
  author={Du, Zhihao and Gao, Changfeng and Wang, Yuxuan and Yu, Fan and Zhao, Tianyu and others},
  journal={arXiv preprint arXiv:2505.17589},
  year={2025}
}

@inproceedings{lyu2025build,
  title={Build LLM-Based Zero-Shot Streaming TTS System with Cosyvoice},
  author={Lyu, Xiang and Wang, Yuxuan and Zhao, Tianyu and Wang, Hao and Liu, Huadai and Du, Zhihao},
  booktitle={ICASSP 2025},
  pages={1--2},
  year={2025},
  organization={IEEE}
}

エコシステム

Cosyvoiceは FunAudioLLM ファミリーの一員であり、音声の理解と生成のためのより幅広いツールキットを提供しています。

免責事項

このページの内容は、学術的および技術的なデモンストレーションを目的として提供されています。一部の例は公開リソースから取得しています。権利を侵害する内容がある場合は、削除を依頼するためにご連絡ください。