AI导航

Clef-omni 发布:决策模型一次读懂音频视频,托管价每百万 0.15 美元

AI资讯
3 min read
9 次阅读

Clef-omni 是 Cloudflare 在 2026 年 10 月 9 日发布的决策模型:它不生成文本,而是在一次请求里同时读文字、图片、音频和视频,按预先给定的问题逐个打出概率。权重已经开放,托管在 Workers AI 上,输入价格为每百万 token 0.15 美元。这是 Clef 家族 10 月 1 日首发后一周内的第二次扩充,同批还有 Clef-flash 降价和 Clef 本体提速。

决策模型和普通大模型判断有什么不同

决策模型的输入是“状态加一组带类型的问题”:问题只有是或否、单选、打分三类,模型直接返回每个选项的概率,不写句子,下游代码拿数字就能路由、拦截或转人工。智能体每跑一步都要做大量这种小判断:工单分给哪个组、截图里的信息够不够立案、这一步该调哪个工具。用聊天模型做这些事,要多付生成整段文字的钱和时间,还要再写一层解析来兜底格式错误。决策模型这个品类最近升温很快,本站此前报道过微软的 Decision-1 和 TypeSafe 的 Jev 融资,Clef-omni 补上的是多模态这一块。

这次新增的模态能力具体是什么

Clef-omni 建在通义千问 Qwen3-Omni-30B-A3B-Instruct 的混合专家骨干上,总参数 30B、单次激活约 3B;Cloudflare 去掉了语音输出部件,冻结骨干、只训练低秩适配器,再用标签平滑交叉熵加 Brier 分数校准做后训练。音频支持 wav 和 mp3,视频支持 mp4 和 webm,视频的音轨会和画面对齐后一起处理,不再需要先转写文字、先拆音轨的级联管线。速度方面,按官方公布的中位延迟,纯文本判断约 130 毫秒,图片约 150 毫秒,音频在几百毫秒量级,一段 21 秒带声音的视频约 1.5 秒完成打分。官方示例很能说明用途:同一次请求里放一张设备安装照片、一段运行录音和一段风扇视频,分别问标签是否可见、声音是否正常、风扇是否在转。

基准成绩要打折看

按 Cloudflare 公布的对比表,Clef-omni 在 BANKING77 上的 macro-F1 为 94.8,在 CLINC150+OOS 上为 97.7,高于同表的 Jev(79.74 和 89.27);但在 When2Call 上以 63.3 落后于 Jev 的 80.97,在 BRIGHT 上也落后。也就是说,它不是全面碾压,而是在分类类任务上更强、在部分工具调用判断上更弱。这些数字全部来自厂商自测,尚未经过独立复现,选型时只能当线索,必须拿自己的历史数据再验一遍。

一起变的还有价格:flash 降价,但托管上下文砍到 24k

Clef-flash 的托管输入价从每百万 token 0.09 美元降到 0.038 美元,官方称已经低于 Jev。代价写在同一篇公告里:托管版 Clef-flash 的上下文窗口从 64k 砍到 24k,理由是其用量数据中只有 0.24% 的请求超过 24k;开放权重不受影响,权重按 256k 上下文训练,自托管可以继续用长上下文。Clef 本体价格不变,仍为每百万 token 0.24 美元,但托管推理做了服务层优化:约 3400 token 的输入,中位延迟从 616 毫秒降到 305 毫秒,约 2.0 倍;16000 token 时也有约 1.7 倍提速。这次提速没有发布新权重,主要是把推理服务迁到了 SGLang。

谁该试,谁先别动

适合先试的有两类团队:一是已经在用 Jev 的,Clef 全系兼容 Jev 的接口,换模型标识就能做对照测试,迁移成本接近于零;二是判断对象里本来就有录音、视频或截图的流程,比如客服通话质检、设备巡检和内容审核分流,以前要串三四个模型,现在可以先拿一个模型跑影子测试。先别动的也有两类:走托管 Clef-flash 且输入经常超过 24k 的流程,降价后反而会被新上限卡住,要么升到 Clef,要么自托管权重;以及准备直接拿厂商基准当采购结论的团队,这类模型的价格和延迟都高度依赖具体负载,影子测试一周再决定,比看对比表可靠得多。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。