多模态模型是指能同时处理两种以上信息形式的 AI 模型。文字、图像、声音、视频——这些在计算机里原本是完全不同的数据，多模态模型能把它们统一"读"进去，理解彼此之间的对应关系，再给出回答或生成新的内容。简单说，以前的 AI 大多只认字，多模态模型则像人一样，能同时动用眼睛和耳朵。
它到底能做什么，一句话就能概括：把现实里混在一起的多种信息，一次性交给模型处理。比如拍一张冰箱内部的照片问"今晚能做什么菜"——模型要先看懂照片里的食材，再结合你的问题给出菜谱。文字和图像在这里是配合干活的，缺了任何一边都答不上来。
"多"在哪：四种最常见的模态
模态（modality）听起来学术，其实就是"信息的存在形式"。现在主流多模态模型打交道的主要有四种：
- 文字：提问、文档、代码，是最成熟的模态，也是模型的"母语"。
- 图像：照片、截图、图表、试卷。模型能描述画面内容、读出图里的字、分析图表里的趋势。
- 音频：语音、环境声。能转写、翻译、分辨说话人，会议记录和电话客服是典型用法。
- 视频：本质是"图像加上时间"。模型能看懂一段视频里发生了什么，按时间线总结梗概。
不同模型支持的模态组合不一样：有的只能看图说话，有的还能听懂语音、看懂视频。选模型时第一件事，就是确认它支持你需要的模态，别被"多模态"三个字一概而论。
三个容易搞混的亲戚
多模态经常和几个概念搅在一起，分清楚能少走很多弯路。
第一个是多任务模型。多任务指一个模型同时学会干好几件事——翻译、摘要、分类，但输入可能全是文字；多模态强调的是输入信息的种类多。一个模型可以既多模态又多任务，两者说的是不同维度。
第二个是单模态模型加外挂。给纯文字模型接一个"看图"插件，也能实现看图问答，但那只是把图片先翻译成文字再交给模型，信息在转换里会打折。真正的多模态模型在训练阶段就让多种信息一起学，图像和文字在模型内部直接对应，理解更深，也更不容易在转述中出错。
第三个是跨模态生成。文生图、图生视频属于"从一种模态生成另一种"，只是多模态能力的一个子集。一个看图很准的模型，不一定擅长画图；反过来，画图好的模型，看图能力也可能很弱。输入能力和输出能力要分开看。
三个流传很广的误解
误解一：能看图，就等于看得准。多模态模型看图也会一本正经地胡说八道：数错图里的人数、把图表趋势读反、认错长得像的物体。它的视觉理解是概率性的，不是像素级的精确测量。重要的事，关键信息最好人工再核一眼。
误解二：模态越多，模型越强。支持的模态多，不等于每个模态都做得好。有些模型的视频理解只是"抽几帧瞄一眼"，对快速变化的细节无能为力。看评测要分模态看分数，别被"全模态"这个标签唬住。
误解三：视频已经能完美理解了。视频是信息量最大的模态，一分钟视频的信息量远超一篇文章。当前模型处理长视频通常只能采样关键帧，中间一闪而过的细节很可能漏掉。让它做视频逐帧质检这类活，大概率翻车。
现在真正靠谱的用法，和它的天花板
先说靠谱的。图文问答是最成熟的用法：拍题问解法、拍故障现象问维修思路、把论文里的图表丢进去解读。文档处理也很实用：扫描版 PDF、带表格的图片，模型能直接读出来整理成文字。语音这头，会议转写和跨语言对话已经很好用。
再说天花板。第一是精度：上文说的看图胡说八道，目前没有根治办法，医疗影像、工业质检这种容错率极低的场景，还不能把决定权交出去。第二是成本：处理图像和视频消耗的 token 是纯文字的几倍到几十倍，用量一大账单很可观。第三是实时性：边看边反应的流式交互还在早期，延迟和稳定性都不如纯文字对话。
给新手的建议就一句：把它当成视力不错、但偶尔眼花的助手。日常的信息整理、学习答疑、创意启发可以放心用；涉及钱、安全、健康的关键判断，让它打下手，最后拍板的人还得是你。
