AI导航

Gemini API工具检索预览上线:智能体接几百个工具,按需加载才省token

AI资讯
2 min read
0 次阅读

2026年11月19日,Google在官方博客宣布,Gemini API的Interactions API以预览形式推出Tool Retrieval(工具检索)。智能体接上几十甚至上百个工具时,不用再把全部工具的参数结构塞进每一次请求,模型只在需要时按名调取,输入token、延迟和选错工具的概率一起往下走。

工具怎么按需加载

开启方法很直接:请求里加一个tool_search工具,给想暂缓的工具打上defer_loading: true。模型仍然能看到每个工具的名字和描述,知道手里有什么,参数结构先不进上下文。模型需要某个工具时按名索取,API在同一次请求里加载完整结构,模型随即发起函数调用,检索调用、检索结果、函数调用三步都会出现在interaction.steps里,方便排查模型当时考虑了哪些工具。

服务端完成检索,开发者不用自己建索引、搭检索服务。常用工具可以不设延迟、留在前面,长尾工具再按需加载;自己的工具注册表、向量索引或按用户过滤权限的场景,还可以把tool_search声明为客户端执行,由应用自己跑检索,每次检索多一次往返,对话中途也能接入新的集成。

对开发者最直接的三点变化

省token是第一点。Tool Retrieval本身不另收费,tool_search只占一小块固定输入token,加载过的结构按输入计费,省下来的是那些一次都没加载过的结构,工具库越大越划算,Google建议拿自己的流量实测再决定。

第二点是接得更广。远程MCP服务器同样支持,给mcp_server打上defer_loading,服务器暴露的全部工具都能按需加载,不用逐个列出。第三点是缓存更稳:被延迟的结构不进提示词开头,加载进来的结构出现在对话后段,前缀缓存每轮保持一致。

先看清边界再接入

这次只是预览,只在Interactions API提供,支持Gemini 3.6及之后的模型,包括全部Gemini 4模型。文档和示例已经上线,正式版时间Google还没公布。接入之前,先在小范围工具库上验证省下的token能不能覆盖新增的固定开销,再决定要不要把整套工具都改成按需加载。Gemini API最近的更新密度不低,近期还包括直接读取Office文件与Genie 4接入Gemini API。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 弱鸡AI AI视频 低价AI视频生成聚合平台,seedance2.0,seedance2.5,minimax h3,wan,muse等视频生成模型,支持在线创作与 API 接入。 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。