前置与目标
先掌握深度学习和基本模型选型。此支线的目标是分清不同模态任务,知道哪些输入变换会改变坐标、时间或语义,并为结果设计评价依据。
学习方法
先用自制图片做坐标手算,再为图像生成写单因素比较计划,最后设计采样率、转写与试听检查。视频问题需要保留帧与时间依据,不把抽帧结果当完整事件记录。
完成标准
留下视觉输入规范与标注、图像生成配置表、ASR/TTS 样本表和各自评分规则。实际使用素材、模型与声音时核对授权;本次不包含模型运行的分数或生成文件。
核验范围
2026-10-07:5 步支线;没有执行视觉推理、图像生成、语音转写或音色训练。
- 01
AI 模型选型:先看任务,再比较模型
验证任务:填写三类任务的模型选型表,标记尚未核验的字段。
- 02
视觉与视觉语言模型:像素、任务与坐标
验证任务:区分标签、框、掩码与文字输出,手算 resize 后坐标。
- 03
迁移学习与数据增强:冻结、微调和标签一致性
验证任务:写分类/检测增强规则,先补读 PyTorch 与优化前置笔记。
- 04
扩散与图像生成:噪声、条件、调度器与复现
验证任务:写三组单因素比较计划及完整生成配置,不填虚构结果。
- 05
语音 AI:音频数据、ASR、TTS 与评估
验证任务:手算 WER,写采样处理、转写规范与 TTS 评价规则。