AI导航

MiniCPM-V 4.7开源发布:35B MoE模型在手机上以3GB内存流畅运行

AI资讯
3 min read
4 次阅读

MiniCPM-V 4.7 在 2026 年 10 月 13 日由面壁智能正式发布并开源,这是 MiniCPM-V 系列的新一代端侧多模态模型,包含 35B-A3B 与 1B 两个版本。其中 35B-A3B 是该系列第一个 MoE 模型,总参数 350 亿、每个 token 约激活 30 亿;按面壁在 Hugging Face 模型卡中自报的数据,它在 iPhone 17 Pro Max 上只占约 3GB 内存就能达到 13 token/s 以上的解码速度。也就是说,这次更新要解决的不是云端跑分,而是让 35B 级别的多模态模型真正在手机和平板上跑起来。

3GB 内存跑 35B,关键在专家调度

MoE 模型端侧运行的难点不在计算,而在存储:不同 token 会在不同层选中不同专家,设备内存装不下全部专家权重,反复从存储里加载会让解码卡顿。面壁这次随模型一起给出了名为 LES 的前瞻专家调度技术,用跨层路由预测提前把下一层可能用到的专家预取进内存,命中的先算、没命中的再正常加载,计算本身仍按模型原本的路由走,不靠砍专家换速度。再叠加细粒度分层量化压低权重体积、DSpark 推测采样提高解码效率,才凑出无损流畅这个说法。这里的无损是面壁的口径,指调度不改变模型选专家的结果,最终效果仍要等第三方在真实设备上复测。

视觉编码先压缩,1B 版本瞄准更小的设备

架构上,4.7 借用了 LLaVA-UHD v4 的视觉编码器内部早期压缩做法,在编码器里就把视觉 token 压下来,并支持 4 倍与 16 倍两种混合压缩率,开发者可以按任务在细节和成本之间选。面壁称 35B-A3B 在 Instruct 模式下以更短的推理时间拿到了比 Qwen3.6 35B-A3B 更高的综合得分,但没有在文字里给出逐项分数,读者宜把它看作厂商自测结论。另一个 1B 版本主打极致效率,面壁称它比上一代 4.6 继续提升基础能力,综合得分和推理效率都明显领先 Qwen3.5 0.8B,适合塞进算力和内存更紧的设备。

平台、框架与微调,开源配套给得比较全

落地配套方面,模型支持 iOS、安卓和鸿蒙三大系统,发布当天即适配瑞芯微、后摩、Intel、AMD、Arm 等芯片平台。推理框架覆盖 SGLang、vLLM、llama.cpp 和 Ollama,提供 GGUF、BNB、AWQ、GPTQ 量化版本并新增 FP8 支持;微调侧有 SWIFT、LLaMA-Factory,并同步开源名为 Self-Replay Fine-Tuning 的微调方案,目标是让开发者低成本扩展能力、同时少丢原有能力。对想在本地设备上做看图、读文档、理解视频的团队,这套配套意味着不用从零搭部署链路,下载权重就能开始验证。

该怎么看待这组端侧数字

需要注意两个边界。一是 3GB 内存和 13 token/s 以上都是面壁在特定设备、特定量化配置下自报的结果,换到中端安卓机或更长的上下文,速度和占用都会变,选型前应在目标设备上实测。二是端侧流畅不等于能力全面够用:35B-A3B 的综合能力与同级云端模型仍有差距,它真正的价值在隐私不出设备、离线可用和零调用成本这三件事上。下一步值得看的是社区复测数据,以及会不会有手机厂商把这一代模型直接装进系统级功能。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。