Agent 评估指标 轨迹边界与协作成本
区分探索成功与重复可靠性，用任务和轨迹前缀验证行为，并比较多 Agent 的信息收益、冲突与预算。
已核验
TOPIC / evaluation
评估与验证
从相关笔记、实验和原始资料开始，建立自己的理解。
笔记与实验
AI 项目评估报告：基线、对照与失败证据
把模型效果、检索质量、权限、工具和服务表现写成可复核报告，明确样本、分母与改动归因。
已核验
概率校准与不确定性：分数能否支持决策
区分分类准确率、排序、校准和不确定性，避免把高分或 token 概率当事实置信度。
已核验
实验统计：配对比较、区间与显著性
用独立单位、配对重采样和置换检验分析差异，区分离线评估与线上因果实验。
已核验
公平性与可解释性：分组评估和解释边界
检查数据与错误的群体差异，理解公平指标取舍和 permutation importance 的局限。
已核验
LLM 评估：样本、评分、评判模型与回归
把格式、任务成功、事实支持和执行成本分别测量，建立独立测试集与可追溯错误分类。
已核验
机器学习评估：指标、阈值与交叉验证
手算混淆矩阵和回归误差，理解 ROC/PR、分组与时间划分、嵌套验证和阈值选择。
已核验
RAG 评估：召回、排序、忠实度与正确性
把检索和回答拆开评价，明确 context recall、context precision、faithfulness 与事实正确性的参照物。
已核验
评估先行：固定问题，再比较改动
先明确成功条件，保存固定输入与失败记录。小样本适合发现回归，但不能代表真实用户总体表现。
已核验
原始资料
Ragas 官方评估指标文档
faithfulness、context precision/recall、factual correctness。选取具体章节作为学习依据，保留 GitHub 快照与复用边界。
vibrantlabsai 及课程/项目贡献者
SciPy 统计指南：bootstrap 与置换检验
配对重采样、置信区间、置换检验、随机数与退化样本的注意事项。
SciPy 贡献者
Anthropic：怎样设计可信的评估
从任务、判分和运行环境三个角度理解评估。适合建立固定样本与失败记录的习惯。
Mikaela Grace、Jeremy Hadfield、Rodrigo Olivares、Jiri De Jonghe / Anthropic