工具介绍
核心功能
Parea AI 围绕生成式应用的实验、评估和生产调试建立统一记录。开发者可以比较模型、提示词和参数组合，在数据集上运行自动或自定义评分，并查看一次调用经过了哪些步骤。生产追踪把用户反馈、延迟、成本和失败样本带回评估环节，人工标注功能则用于补充机器评分难以判断的偏好与业务标准。
适合场景
正在开发问答机器人、检索增强生成或多步骤 Agent 的团队，可用 Parea AI 保存版本差异并建立回归测试。产品经理能够从真实会话中挑选问题样本，领域专家可以按统一规则标注答案，工程师再据此修正提示词、检索或模型选择，形成从线上问题到离线验证的闭环。
使用边界
评估平台不会自动产生可靠的质量标准。测试集若只包含理想问题，或人工标注规则含糊，分数再高也不能代表真实表现。向平台发送生产追踪前应移除不必要的个人信息，配置数据保留策略；涉及医疗、金融等结论时，还需由对应领域人员审查样本与判断标准。
常见问题
Parea AI 可以评估自建模型吗？
它的重点是记录和评估应用调用，团队可按支持的接口接入不同模型或自己的工作流，具体适配方式应查看当前 SDK 文档。
自动评分能替代人工标注吗？
不能完全替代。格式、关键词和部分一致性适合自动检查，主观质量、专业正确性与风险判断仍需要合格标注者。
为什么生产追踪要和测试集联动？
线上失败样本能暴露离线数据没有覆盖的问题，把它们沉淀为回归用例，才能验证下一次修改是否真正解决故障。
