开源 OpenAI+Azure 失效保护 – OpenAI + Azure GPT 请求的负载均衡器和失效保护

OpenAI Load Balancer 是一个 Python 库,旨在将 API 请求分发到多个端点(支持 OpenAI 和 Azure)。它实现了循环轮询的负载均衡机制,并包含指数退避以重试失败的请求。

这个开源项目可以帮助开发者更好地管理和处理 GPT 请求,确保系统的稳定性和可靠性。它支持 OpenAI 和 Azure 两种 API,可以根据配置将请求分发到不同的端点,实现负载均衡。同时,它还包含了指数退避的机制,可以在请求失败时进行重试,提高请求的成功率。

您可以通过访问 OpenAI+Azure Fail Safe GitHub 仓库 获取更多信息。

如果您不能正常访问官网,可能是您的网络受限!


滚动至顶部