Lengyue 2 лет назад
Родитель
Сommit
c163ea52af
2 измененных файлов с 16 добавлено и 3 удалено
  1. 1 2
      docs/zh/finetune.md
  2. 15 1
      docs/zh/inference.md

+ 1 - 2
docs/zh/finetune.md

@@ -180,8 +180,7 @@ python fish_speech/train.py --config-name text2semantic_finetune_spk
 !!! note
     你可以通过修改 `fish_speech/configs/text2semantic_finetune_spk.yaml` 来修改训练参数如 `batch_size`, `gradient_accumulation_steps` 等, 来适应你的显存.
 
-训练结束后, 你可以参考推理部分来生成语音. 
-
+训练结束后, 你可以参考推理部分, 并携带 `--speaker SPK1` 参数来测试你的模型.
 
 !!! info
     默认配置下, 基本只会学到说话人的发音方式, 而不包含音色, 你依然需要使用 prompt 来保证音色的稳定性.  

+ 15 - 1
docs/zh/inference.md

@@ -1,6 +1,6 @@
 # 推理
 
-计划中, 推理会支持命令行和 webui 两种方式, 但是目前只完成了命令行推理的功能.  
+计划中, 推理会支持命令行, http api, 以及 webui 三种方式.  
 
 !!! note
     总的来说, 推理分为几个部分:  
@@ -56,9 +56,23 @@ python tools/llama/generate.py \
 !!! info
     对于不支持 bf16 的 GPU, 你可能需要使用 `--half` 参数.
 
+!!! warning
+    如果你在使用自己微调的模型, 请务必携带 `--speaker` 参数来保证发音的稳定性.
+
 ### 3. 从语义 token 生成人声: 
 ```bash
 python tools/vqgan/inference.py \
     -i "codes_0.npy" \
     --checkpoint-path "checkpoints/vqgan-v1.pth"
 ```
+
+## HTTP API 推理
+
+运行以下命令来启动 HTTP 服务:
+```bash
+python -m zibai tools.api_server:app --listen 127.0.0.1:8000
+```
+
+随后, 你可以在 `http://127.0.0.1:8000/docs` 中查看并测试 API.  
+一般来说, 你需要先调用 `PUT /v1/models/default` 来加载模型, 然后调用 `POST /v1/models/default/invoke` 来进行推理. 具体的参数请参考 API 文档.
+