开发者们好!APIPark V1.4 功能更新给大家带来「负载均衡」、「APIKey 资源池」以及「Token 消耗统计」等重要功能,看看是否能帮助到大家更好地使用 AI 大模型~
V1.4 版本说明新功能
[❤️新增] 新增支持 AI 模型负载均衡:同时接入多款大模型,当原定的 AI 服务商无法访问时,实现平滑的故障转移,让您的客户不会受到 AI 服务商的异常影响。
[❤️新增] 新增支持 AI APIKey 资源池:可针对同一 AI 服务商录入多个APIKey,系统自动调度可用的APIKEY,摆脱原厂的各种限制。
[❤️新增] 新增 AI token 消耗统计:可查看指定时间范围内,调用各 AI 服务的 API 所消耗的 token数量。点击跳转:Github 仓
🚀 负载均衡
AI 模型负载均衡是一种智能调度机制,旨在确保 AI 服务的高可用性和稳定性。当主要的 AI 供应商服务出现故障时,负载均衡能够自动将请求切换到备用的 AI 供应商上。负载均衡能有效避免因供应商问题导致的服务中断,保障 AI 应用的连续运行,提升用户体验。
负载优先级 APIPark 负载均衡支持对供应商进行优先级排序,确保在异常情况下,能够按照预设的优先级顺序进行切换,进一步优化资源利用和响应速度。
开源不易,点亮 Star 是对我们最大的支持~(´▽`ʃ♡ƪ) 跪谢 !!!
✨APIKey 资源池
APIKey 资源池是一个集中管理和调配 APIKey 的功能,为 AI 服务的稳定运行提供有力支持。在资源池中,您可以查看和管理各个供应商的 APIKey,包括其状态(如正常、超额、过期等)和调用优先级。
只需要通过拖拉操作,您就可以轻松调整 APIKey 的优先级顺序,以适应不同的业务需求。当某个 APIKey 出现超额或过期等问题时,系统自动按优先级启用其他 APIKey,确保 AI 服务的持续可用。当然,您也可以使用 AI APIKey 资源池对 AI 调用资源额度进行统一再分配。
📊AI API 管理
AI API 管理用于集中展示和管理调用各个 AI 供应商的 API。您可以在 APIPark 上查看所有调用的 AI API 的详细信息以及 token 的消耗情况。
APIPark 支持在选定时间范围内查看调用了该模型供应商能力的所有 API,以及每一个API 的调用的模型和使用的 token 数量。这一功能方便您对该模型的资源消耗进行成本管控。
此外,您还可以在 API 列表中查看特定 API 的路由配置以及该 API 的 Prompt 信息。🔗更详细使用教程可以查看:APIPark 产品使用文档记得 Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验!