同时用好几家大模型的 API,每家的接口、key、账单都各管各的,挺乱。
要是你写程序要接好几家 AI,大概体会过这种麻烦:OpenAI 一套接法、Claude 另一套、DeepSeek 又不一样,key 散落各处,月底想算清谁花了多少钱也费劲。有个开源项目专门来收拾这摊子,它叫 new-api,是个大模型网关,GitHub 上攒了3.9万颗 star。但先说清楚,这是个给开发者和团队用的东西,普通用户基本用不上吧。
它干的核心一件事,是把各家大模型收拢成一个统一的入口。你的程序只需要对接一套接口(用的是大家都熟的 OpenAI 格式),背后想调 OpenAI、Claude、Gemini 还是 DeepSeek,随你切换,代码不用动。相当于给所有大模型装了个统一的总机,你只管拨这一个号。
在这之上,它把「管理」这块做得挺全。所有的 API key、各个渠道,集中在一处分发和限流;谁调用了多少、花了多少钱,用量和成本都给你算得明明白白;还有组织级的权限,适合团队按人头分配额度。举个例子,一个团队里好几个项目都在调 AI,以前各买各的 key、各记各的账,现在全走这一个网关,谁花了多少一目了然。这些对要长期维护 AI 调用的团队来说,是很实在的基建。
它是 Go 写的,可以私有部署,整套跑在你自己的服务器上,网关侧的配置和调用记录都留在自己手里,不经过额外的网关服务商。当然,真正调用模型时,请求该发往 OpenAI、Claude 这些上游服务商的,还是照常发出去,这一段省不掉。
得把边界讲清楚。一是它确实是技术活,你得会部署、并且自己手里有各家的 API key——它只是个「管家」,负责调度和记账,模型能力还是各家原厂提供的,它自己不产生智能。二是合规这根线要绷住:上游的 key 得合法获取、守各家的服务条款;如果你是拿它对外提供 AI 服务,那还得按所在地的规定老老实实做备案这些事。这工具本身是中性的,怎么用是用的人的责任。
它是开源项目,AGPL 许可,GitHub 上就叫 new-api,是 QuantumNous 团队的项目。
模型越出越多,怎么把它们井井有条地管起来,慢慢变成一个真问题。能有这么个趁手的网关把杂活接过去,对天天和多个模型打交道的人,是省心的。
#马力的AI知识分享#
#马力的AI开源项目分享#
发布于 北京
