离线基准、人工评测与 LLM-as-judge
概念解释
离线基准、人工评测与 LLM-as-judge是“检索、评测与安全”中的核心知识。把外部知识接入模型,并系统衡量质量、成本和风险。
核心方法与条件
先识别问题对象、条件和目标,再把“离线基准、人工评测与 LLM-as-judge”与本章其他概念建立联系。RAG 失败要区分召回失败、排序失败、上下文截断和生成阶段忽略证据。
例题或应用
RAG 失败要区分召回失败、排序失败、上下文截断和生成阶段忽略证据。
常见易错点
只记住“离线基准、人工评测与 LLM-as-judge”的名称而不检查对象、条件、范围和证据,会导致机械套用。
自检
请尝试不用原文解释“离线基准、人工评测与 LLM-as-judge”解决什么问题,再设计一个属于“检索、评测与安全”的实例,并说明适用条件和判断依据。