国产开源模型实现重大突破，可在iPhone断网状态下运行35B参数的多模态大模型，内存占用仅3G，大幅降低端侧AI部署门槛。

详细分析

此次发布的国产开源模型标志着端侧AI推理能力的一次跃升。35B参数的多模态大模型能够在iPhone上断网运行，且内存占用压缩至3G，意味着模型在量化、蒸馏或稀疏化等压缩技术上取得了实质性进展。长期以来，大模型部署受限于算力与内存，云端推理虽为主流，但存在延迟、隐私和网络依赖等痛点。该模型将多模态能力下沉至手机端，不仅规避了断网场景的可用性问题，更在隐私敏感场景中提供了本地化处理的可能。从行业格局看，苹果、高通、谷歌等巨头均在推进端侧AI，但受制于内存与功耗，主流端侧模型多在3B至10B参数级别。35B多模态模型的端侧运行，若能在保持生成质量的前提下实现，将重新定义移动端AI应用的天花板。对国内开源生态而言，这一成果强化了国产模型在效率优化方向的竞争力，也可能推动更多开发者基于手机端构建离线多模态应用，如实时视觉问答、本地文档理解等。市场层面，端侧AI的普及将带动手机内存配置、NPU算力以及模型压缩工具链的需求，同时可能削弱对云端推理的部分依赖，影响AI基础设施的投资逻辑。不过，实际体验中的推理速度、发热控制和多模态对齐质量仍是关键考验，需要后续实测验证。

端侧多模态大模型从“能跑”到“好用”还有距离，但3G内存跑35B参数已足够让行业重新评估手机AI的边界。

原文：量子位