📖 功能简介

本插件是为 AstrBot 设计的一款高级语音合成工具。它能将 LLM 的文本回复无缝转换为带有多样情感的语音消息，赋予您的机器人更加生动和个性化的表达能力。

• 两种语音化模式：
  1. 固定情感模式：使用预设的默认或切换后的情感进行语音合成。
  2. 自动情感识别模式：调用LLM分析文本情感，并自动匹配最合适的声音进行合成。
• 长文本加速 (v1.2.0 新增)：独有的句子切分与并行合成技术，能将长篇回复拆分，并发请求至多个TTS服务器，最后无缝拼接，大幅缩短长语音的等待时间。
• 动态情感管理：通过指令自由注册、删除、查看不同的声音情感。
• 高度可配置：支持自定义翻译API (OpenAI/Gemini)、TTS服务器地址和默认角色。
• 手动合成：提供指令，可绕过 LLM 直接将指定文本合成为语音，方便测试。
• 故障转移：支持配置多个TTS服务器，一个失效时自动尝试下一个。
• 注意：该服务默认合成日语，但支持通过配置或注册指令合成其他语言（需模型支持）。

⬆️ 更新日志

v1.3.3

[!IMPORTANT]
Hugging Face Space 需要重新部署：本版本修复了后端 genie-tts 的兼容性问题。请使用最新的 Dockerfile 和 app.py 重新复制/部署您的 Space，否则中文 TTS 可能无法正常工作。

• 【修复】后端模型加载：修复了 genie-tts 2.0.2 与 HuggingFace 模型仓库的兼容问题，中文合成现已正常工作。
• 【新增】翻译开关：新增 启用翻译功能 配置项。如果您使用的是中文模型，可关闭此选项直接使用原文，无需翻译。
• 【新增】超时配置：新增 TTS 超时时间 配置项（默认 120 秒），支持自定义单次 TTS 请求的超时时间。
• 【优化】配置界面：重新组织配置页面，使用 emoji 分类，更加清晰美观。
• 【优化】Worker 优化：并行合成时，Worker 数量现在取 min(服务器数, 文本块数)，避免创建多余的空闲 Worker。

v1.3.2

• 【修复】后端兼容性：修复了因新版 API 变更导致插件无法访问后端的问题（缺少 language 参数）。
• 【新增】多语言支持：新增 tts_default_language 配置项，允许设置 TTS 默认语言（默认为 jp），支持 jp, zh, en。
• 【新增】语言注册：/注册感情 指令现在支持可选的语言参数，允许为特定的感情单独指定语言（如 zh, en），未指定则使用默认配置。

⚠️ 重要前置：部署语音服务

本插件自身不进行语音合成，它依赖一个后端的 Genie TTS 服务。您必须先拥有一个可访问的该服务，插件才能正常工作。

Genie TTS 是一个强大的语音合成项目，您需要将其部署为一个Web服务。

• 官方仓库: https://github.com/High-Logic/Genie

方案一：使用 Hugging Face 一键部署

算力免费而且无需本地机器配置，但是合成速度比较慢。

1. 复制我的 Space:

   • 服务仓库: https://huggingface.co/spaces/clown145/genie-tts-t/tree/main
   • 点击页面右上角的 "Duplicate this Space" 即可一键复制，拥有一个完全属于您自己的、免费的TTS服务。

2. 使用自定义模型:

   • 默认服务会从我的模型仓库 clown145/my-genie-tts-models 下载模型。该模型仓库已包含多个预置角色，例如： kisaki (月社妃), hiy (和泉妃爱), may (椎名真由理), aoi (葵) 等，您可以直接使用。现在默认注册三个角色是kisaki,aoi,oka。您可以去app.py按照说明修改。
   • 若要使用您自己的模型，请将您训练和转换好的模型上传到您自己的 Hugging Face 模型仓库，然后在 Space 的 app.py 文件中修改 REPO_ID 和 CHARACTERS 字典。
   • 【关键步骤】 在您的空间中，您必须创建一个名为 reference_audio 的文件夹，并将所有用于注册情感的参考音频文件（如 .wav, .ogg）放入其中。
   • 注意： Genie 服务目前有加载3个模型的上限，请确保 CHARACTERS 字典中启用的角色不超过3个。

3. 开启自动保活（可选）：Hugging Face Space 超过 24 小时无人访问会休眠。插件新增了“自动保活空间”的开关，开启后会定时访问空间主页防止休眠。配置项：

   • 启用：在插件配置中打开“是否自动定期访问 Hugging Face Space 以防止休眠”。
   • 保活地址：默认使用 TTS 服务器列表的第一个地址，若您想单独设置，请填写“保活请求的目标地址”。
   • 间隔：可通过“两次保活之间的间隔分钟数”调整访问频率，建议 15-30 分钟。

方案二：本地或 Windows 部署

• 如果您想在本地运行，请参照 Genie 官方仓库的文档进行部署。
• 作者还提供了 Windows 一键整合包，极大简化了部署流程，详情请访问其 GitHub。

部署完成后，请记下您的服务 URL (例如 https://your-name-your-space.hf.space)，后续配置插件时需要用到。

📦 插件安装

• 方式一 (推荐): 在 AstrBot 的插件市场搜索 astrbot_plugin_tts_llm，点击安装，等待完成即可。

• 方式二 (手动): 若安装失败，可尝试克隆源码。

  # 进入 AstrBot 插件目录
  cd /path/to/your/AstrBot/data/plugins
  
  # 克隆仓库
  git clone https://github.com/clown145/astrbot_plugin_tts_llm.git
  
  # 重启 AstrBot
  

⚙️ 插件配置

安装后，在 AstrBot 的 WebUI 找到本插件并进入配置页面。

基础配置

翻译API配置

LLM 注入与高级翻译设置 (v1.3.0 新增)

性能配置 (v1.2.0 新增)

⌨️ 使用说明

命令表

感情管理

核心功能

💡 典型使用流程

1. 部署服务与配置：按照前述步骤部署Genie TTS服务，并在AstrBot WebUI中正确填写 TTS 服务器地址列表 和 翻译API 信息。
2. 注册情感：使用 /注册感情 指令添加至少一个您想用的情感。对于一个角色，注册的情感越丰富，自动情感识别的效果就越好。
   
   示例: /注册感情 kisaki 开心 reference_audio/Kisaki_happy.ogg ほら、ホタルもとても喜んでいます。
3. 设置默认值：回到 WebUI 配置，将“默认角色名”和“默认情感名”设为您刚刚注册的，并保存。
4. 选择模式并开启：
   • 自动情感模式 (推荐)：发送 /tts-w。现在，机器人的LLM回复将自动分析情感并使用最匹配的语音！如果想换个角色，使用 /sw-w <新角色名>。
   • 固定情感模式：发送 /tts-llm。回复将使用默认或通过 /sw 指定的固定情感。
5. 开始对话：享受带声音的机器人对话吧！
6. 关闭模式：发送 /tts-q 即可恢复发送纯文本。

💡 进阶技巧

如果感觉机器人回复长文本时语音等待时间较长，可以尝试在插件配置的 “性能配置” 中开启 “启用句子切分功能”。这会显著提升长语音的合成速度，尤其是在您配置了多个TTS服务器时。理论上添加的tts服务器越多，合成长文本越快，虽然tts服务本身似乎也有切分功能，但受限于抱脸免费空间的性能，合成长文本速度还是较慢。

感情配置

如果你希望使用我的模型，可以把emotions.json文件复制到AstrBot\data\plugin_data\astrbot_plugin_tts_llm文件夹下面，里面有设置好的一些感情。

📝 开发说明

本插件的开发过程得到了 AI 的大量协助，并在 v1.2.0 版本中对代码结构进行了重构，以提升可维护性。如果代码或功能中存在任何不妥之处，敬请谅解并通过 Issue 提出，感谢您的支持！

🤝 致谢

• 本插件的语音合成功能由 Genie TTS 库提供核心支持，由衷感谢原作者的杰出工作。