前置与目标

先完成 系统学习主线 中的模型、提示、工具和评估部分,或按篇目前置补读。目标是知道每种失败属于哪个模块,并能设计独立检查。

学习方法

先复现已有关键词实验,再设计向量检索与完整 RAG。扩展到 agent 时保留真实工具状态;只在清楚职责和收益时考虑多智能体。所有练习先用虚构或明确许可的资料。

完成标准

交付文档入库/更新/删除方案、查询轨迹、工具 schema、状态机、权限设计、固定评估样本和性能测试计划。每种失败都能定位到解析、召回、排序、生成、执行或授权。新的向量和 agent 计划没有实测成绩。

核验范围

2026-10-07:串联 14 个步骤。现有关键词实验可独立运行;其他步骤是学习与设计任务,实际模型/服务调用需另行执行并记录环境。

  1. 01

    关键词检索实验

    验证任务:实际运行原有实验并对照记录,新增一个失败查询。

  2. 02

    Embedding 与向量检索:表示、相似度和索引

    验证任务:手算点积与余弦,设计语义、编号、否定和版本查询。

  3. 03

    RAG 文档管线:解析、清洗、切片与版本

    验证任务:设计切片元数据及更新、删除后的索引预期。

  4. 04

    RAG 检索:召回、混合搜索与重排

    验证任务:标记六个查询的相关片段,区分召回、排序与生成失败。

  5. 05

    让答案回到证据

    验证任务:构造引用存在但结论越界的反例,指出缺失证据。

  6. 06

    结构化输出与工具调用:格式正确之后还要验证

    验证任务:写工具 schema、五个失败输入和独立授权检查。

  7. 07

    智能体执行循环:模型、工具、状态与停止

    验证任务:模拟成功、缺证据、超时和重复调用四条执行轨迹。

  8. 08

    上下文与记忆:选择、压缩、隔离与遗忘

    验证任务:设计冲突、更新、过期与撤销记录,检查摘要保留关键限制。

  9. 09

    工作流与多智能体:拆解、路由、协作和交接

    验证任务:画任务依赖、状态负责人、交接契约与冲突合并规则。

  10. 10

    MCP:协议、工具发现、版本与授权边界

    验证任务:核对协议版本,设计版本不兼容和对象越权的测试预期。

  11. 11

    LLM 评估:样本、评分、评判模型与回归

    验证任务:设计十个测试样本、独立评分规则与错误类别。

  12. 12

    RAG 评估:召回、排序、忠实度与正确性

    验证任务:分别诊断漏检、排序、忠实度、事实错误与正确拒答。

  13. 13

    AI 应用安全:数据、权限、注入与执行

    验证任务:为五种注入/越权输入标记应阻断的程序层。

  14. 14

    AI 推理工程:延迟、缓存、吞吐与复现

    验证任务:设计三种负载,明确延迟、吞吐、质量与缓存比较口径。