Mesh LLM 开创了大模型部署的全新范式。依托iroh协议，它可以聚合办公场景内各类闲置算力资源，包括终端设备、闲置GPU与内存，搭建起一套去中心化的分布式算力网络。
该系统具备智能自动调度能力，可灵活适配多种运行模式：既支持本地独立推理运算，也能将算力需求路由至网络内的同伴节点，还可对超大AI模型进行拆分，分配至多台设备协同并行计算，完美适配不同规模的模型运行需求。
对普通用户而言，使用门槛极低，仅需连接本地接口localhost:9337/v1，即可像调用OpenAI接口一样便捷使用高性能大模型。全程无需采购昂贵的专业算力硬件，也无需依赖第三方服务商的云端服务，彻底摆脱外部约束。
这种去中心化的部署模式，不仅极大降低了AI大模型的使用与落地成本，更实现了数据本地可控，将核心数据所有权、使用权完全交还用户，兼顾实用性、经济性与数据安全性。
http://t.cn/AXKqDimw