跳转到内容

AI、AGENT 与上下文 · DEFINED TERM

幻觉与评估

幻觉是模型生成了看似合理但无依据的内容,评估用于系统检查质量。

你可能会这样说“不要编造接口,给出处并用测试验证”

VISUAL EXAMPLE

先看懂它怎么工作

INPUT不要编造接口,给出处并用测试验证
定义样例与指标
运行模型
对照事实和规则
记录失败并改进
CHECK有覆盖真实失败模式的测试集、基线和人工复核记录

MECHANISM

运行机制

  1. 定义样例与指标
  2. 运行模型
  3. 对照事实和规则
  4. 记录失败并改进

USE WHEN

适合这样用

验证准确性、稳定性、安全和任务完成度

NOT FOR

不要这样理解

不要只凭一次主观感觉判断模型可靠

TELL YOUR AGENT

可直接发给 Agent

请按“幻觉与评估”的概念处理这个需求:不要编造接口,给出处并用测试验证。先说明实现边界,再给出可检查的结果。

ACCEPTANCE

怎么确认它真的做好了

有覆盖真实失败模式的测试集、基线和人工复核记录

OFFICIAL SOURCES

官方来源