来提交你的插件吧!
有疑问?来看看呗!

插件详情

LLM 故障转移

AstrBot 文本类大模型故障转移插件,遇到限速/瞬时故障时自动切换备用模型,比如“硅基流动”免费模型的速率限制

llm
速率限制
自动切换
解决方案
AI
版本v1.0.2
作者万一
Star3
更新2025/12/18

插件说明

LLM Failover

AstrBot 插件,为聊天类模型提供商注入自动故障转移包装,初衷是防止”硅基流动”等免费模型服务商触发限速时影响用户体验,因而在限速或瞬时故障出现时可以无缝切换到备用 LLM。

  • 初始化阶段扫描所有 CHAT_COMPLETION Provider,将 text_chat 统一包裹为带降级逻辑的调用链。
  • AstrBot 完全启动后再次扫描,确保热加载或延迟注册的 Provider 也具备同样能力。
  • 日志同时写入 AstrBot 核心日志与插件本地 llm_failover.log,方便定位故障与回退路径。

如需了解实现细节与演进建议,请参阅 doc/llm_failover_overview.md 与 doc/llm_failover_report.md。

更新日志

v1.0.2

  • 修复流式聊天(stream)场景下故障转移失败的问题
  • 完善响应提取逻辑,支持更多异常场景的自动切换

v1.0.1

  • 初始版本发布
  • 支持聊天类模型提供商的自动故障转移
  • 支持限速、500 错误等异常情况的自动切换
AstrBot LogoAstrBot 插件市场社区

AstrBot 插件市场 是一个开放的插件分享平台,欢迎开发者们贡献优质插件。本站致力于为 AstrBot 用户提供高质量扩展,帮助您快速找到喜欢的插件,并鼓励社区伙伴分享使用心得、提出改进建议。

相关链接

官方项目主站 官方插件市场 官方项目仓库 侧边展示主站

开发相关

插件开发文档 快速提交插件 官方项目文档

© 2026 AstrBot 插件市场 Made with by Community