LangSmith 在 2026 年 10 月 13 日由 LangChain 官方博客宣布上线 AI Search 公测:开发者用一句自然语言描述想找的行为,比如哪次会话里智能体泄露了隐私信息、哪位用户明显受挫,系统就返回命中的智能体运行轨迹。它解决的是轨迹数据越攒越多、真正出问题的那几条却找不到的麻烦。
标签和全文检索为什么不够用
一条轨迹里装着用户输入、智能体的推理、工具调用和最终回复,信息量大且没有固定结构。团队平时想从轨迹里挖东西,无非是找评测数据集的样本,或者找典型会话给标注人员复核。但“智能体嘴上说做完了、实际没做”这类问题,对不上任何标签或元数据字段,全文搜索也搜不出来;过去只能提前布置专门的评估器,或者靠人一条条翻。AI Search 把入口换成行为描述,类似的用法还包括找想取消订阅的用户、提到竞品的对话、反馈了不支持的集成需求的会话。
做法是让小模型逐条读轨迹,而不是算向量
官方解释了为什么不用向量搜索:把整条轨迹压成一个向量会丢细节,真做完了和只说做完了的轨迹在向量空间里几乎一样,分辨它们必须让模型读原文。AI Search 背后是 LangSmith 的轨迹数据库 SmithDB,它先把来自 OpenAI、Anthropic 等各种 SDK 和框架的轨迹统一整理成“轨迹视图”,把每轮重复发送的对话历史去重,再给每条轨迹分配固定的 8K token 预算,优先放用户消息和智能体的正式回复,其余位置才给中间推理与工具结果。搜索时先用已有筛选条件缩小范围,再由快速决策模型并行逐条核对,命中结果流式返回,不用等全量扫完。
公测范围与官方承认的边界
AI Search 目前在 LangSmith Cloud 的 GCP 美国、欧洲和亚太区域公测,不额外收费,由组织管理员在设置里开启后出现在轨迹页面。LangChain 也写明了它的短板:用户是放弃了还是满意离开了这类只差一两轮对话的细微区别,模型仍容易判错;如果答案藏在工具返回结果里,现有预算分配可能恰好把它裁掉。团队正在研究按问题类型挑选上下文、让模型在不确定时二次读取更多内容,以及把命中结果自动分组汇总。对已经在生产环境跑智能体的团队,这项功能的价值要等实际命中精度验证之后才能定论,但方向很清楚:轨迹检索正在从按字段筛,转向按行为找。