AI 网关

AI Gateway（AI 网关）

https://github.com/Portkey-AI/gateway

通过统一简单的 API，让你轻松快速接入 100 多种大语言模型，如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。| #工具
特点：

占用空间极小，仅仅约 45kb，但其处理速度极快，达到快 9.9 倍。可以同时连接多个模型，并能处理多个模型、服务提供商和密钥之间的负载平衡。

设置故障转移机制，当一个模型出现无法使用情况，可自动切换到可用模型，确保你的应用持续稳定运行。默认配置自动重试，并采用指数回退策略，进一步提高请求的稳定性。

可根据需求添加中间件，满足你个性化需求。已经在超过 100B Tokens 上进行了实战测试。