HuggingFace
26-01-06 11:10 微博认证:HuggingFace官方微博

🍎 在 Apple 平台接 LLM,一直这么痛苦吗?本地模型、云模型、系统模型 API 各不相同,试个 Demo 都能把人劝退。现在,这件事终于有人认真“抹平”了。

AnyLanguageModel 是一个全新的 Swift 包,目标非常直接:用同一套 API,同时支持本地和远程大语言模型,让 Apple 开发者低成本试错、自由切换模型 🧠

核心思路只有一句话:只换 import,不换写法。
不管你用的是 Apple 自带的 Foundation Models、本地跑的 MLX / Core ML / GGUF 模型,还是 OpenAI、Anthropic 这些云服务,调用方式保持一致,代码几乎不用改。

它支持的来源包括:
- Apple Foundation Models,作为系统级兜底
- MLX、Core ML,在 Apple Silicon 上高效跑本地模型
- llama.cpp 和 Ollama,加载 GGUF、本地服务模型
- OpenAI、Anthropic、Gemini 等云模型
- Hugging Face Inference Providers,一次接入大量模型

为什么要基于 Apple 的 Foundation Models API?
因为它设计得足够干净、足够克制,正好像一个“最低公分母”。AnyLanguageModel 选择顺着这套 API 扩展,而不是再造一套复杂抽象,结果就是:切换模型变简单,心智负担变小。

另一个很实用的点是依赖控制。你只用 MLX,就只引入 MLX;不用 llama.cpp,就完全不带它。通过 Swift 的 package traits,把“我只想要什么”说清楚,而不是被迫全家桶。

在 API 设计上它也敢做取舍。比如 Apple 目前还不支持图像输入,它就先自己扩展,让你现在就能用视觉语言模型,而不是等系统更新。等官方方案出来,再通过弃用机制平滑迁移。

官方还提供了一个示例 App:chat-ui-swift,把本地模型、Apple Intelligence、流式输出、聊天记录都串了起来,非常适合作为你自己项目的起点。

如果你是:
- 想在 iOS / macOS 上认真用本地模型的人
- 想快速对比本地和云模型效果的人
- 或者单纯受够了“每家模型一套 SDK”的人
这个项目值得重点关注。

🤗 欢迎加入我们的中文社区:Chinese LLMs on Hugging Face,一起交流 Apple 平台上的本地模型、推理实践和真实踩坑经验。
#HuggingFace# #Apple开发# #本地大模型#

发布于 美国