一个研究生，做出了开源榜一的模型

主播介绍逯雨鑫：做过 data engineer，读了 AI 方向研究生，目前在一家 AI Lab 做研究员，而那个登顶 Hugging Face 的模型是他入职前独立完成的。嘉宾自述从 2022 年 GPT 开放时开始接触 AI，认为工业界训模型主要就是 SFT 和 RL 两条路，基础补好人人可做。

五天、一张 5090、几百美元

第一版基于 42B 底座继续训练，耗时五天；第二版两三周。硬件只有一张 5090 加 QLoRA，配合 Claude Max 订阅合成靶向数据，社区用户还贡献了真实轨迹数据。租卡一两美元一小时，硬件成本不超过一百美元。效果上 agentic benchmark 从约十五分提到五十五到六十分，但其他 benchmark 有下降。

五步流程：定目标、选底座、搭数据、选方法、迭代

逯雨鑫把流程拆成五步，强调先明确目标而非追热点；选底座要注意中文能力，42B 底座量化后大量输出粤语，中文场景应选千问系；数据可合成也可取自 Hugging Face 与 ModelScope；方法上只有 SFT 对个人和应用公司实际，RL 成本过高；最后跑 benchmark 从错题迭代。

95% 的时间都花在数据上

他明确说真正卡住自己的是数据洞察力，训练本身几小时一轮非常快。整套流程的脚本、数据、benchmark 全部开源，环境也能低价买到，所以难点不在工程而在数据。

合成数据治不了所有的病

真实数据占 60% 到 70%，其余是靶向合成数据。他举小模型「过度自信」的例子：任务没完成就宣布完成，这类数据公开集里没有，只能自己合成，但只对 AI 说一句做出来的数据完全不对，必须自己下场对齐目标。五千条数据要人工审五百条。

Capacity Gap：老师太强，学生太弱

第一版三天做数据一天训练，第二版两周里十二天做数据。数据看着好，训出来仍可能没提升，因为几 T 参数级别的老师模型轨迹蒸馏进 12B 学生模型会丢失大量能力。结论只能一版一版测，不要因为一版不理想就放弃。

什么叫好的蒸馏：看锚点，不看分数

蒸馏分 on-policy 与 off-policy，后者成本极高。逯雨鑫给出判据：锚点决定好坏。锚在 benchmark 上、蒸一堆衍生变体而真实目标在别处，就是不好的蒸馏；只要模型分布被拉向真正想要的方向，benchmark 掉分也是好蒸馏。

成本账：小模型一万，大模型二十万

他的项目能成，是因为锚点选在 agentic 和 coding 这两个真实使用最密集的领域。应用公司训小模型几千到一万人民币以下，大模型十几万到二十万；部署侧十几并发一台 H200 几万块即可，用户量大了 serving 端才开始有坑。

踩过的坑与「现在做的人还不多」

他最早公开的微调模型是写武侠小说的，因为找不到合口味的小说而自己做。他建议重点搞千问系，架构主流、脚本齐全，别太相信 AI，要多查真实成功案例。他认为有能力做这件事的人已经不少，但多数人把它想得太复杂。

未来每家中大型公司都会有 AI 小团队

中大型公司组三四人的小团队即可，预算主要是工资加显卡。现在显卡和内存处在价格高点，供应上来后成本会大幅下降。主播追问为何没人做端到端 pipeline，嘉宾说所有公司都在想，Hugging Face Jobs 已在做但坑不少，inference 是主要障碍。

AI Lab 会变少，应用公司接管后训练

主播列举主权 AI、数据标注公司自选模型、应用公司自训模型等迹象。嘉宾认为 AI Lab 数量会减少但价值仍在，会往研究、预训练和平台服务走；中大型应用公司自建团队接管后训练，因为不愿分享数据。主播用推荐算法时代没有中立第三方公司作类比。

数据为什么值钱

主播提到「模型吃掉一切」的论调下应用公司遇冷，但近期判断在反转。嘉宾说 AI Lab 花钱买数据，是因为想看 AI 真正帮用户解决问题的过程；免费开放模型既宣传也收集数据，一台 B300 几十万到几百万的成本背后是数据回报。

为什么还是选择加入一家 AI Lab

嘉宾说自己判断仍会有 AI Lab 成为赢家，希望往 research 和预训练方向走，预训练需要上百甚至两百多张卡跑几个月，只有 AI Lab 能做。他同时提醒：如果 AI Lab 不再开源，对应用公司是毁灭性打击，有预算的中大型公司现在就该开始自建迭代能力。

从巨型机到人手一个模型

主播用计算机从巨型机到 PC 的演化类比 AI。嘉宾认为本地 AI 是必然趋势：调 API 数据对上游可见，中转站灰色且会卖数据，已有数据泄露被威胁的案例；写小说这类场景 token 成本可达几千几万。他预计 2027、2028 年 2TB 统一内存的电脑能本地跑接近当前主流的模型。

隐私是真需求吗：编辑的追问

编辑陈皮追问：如果用户最终要最强智能，本地模型离 SOTA 有距离，隐私会不会是伪需求？嘉宾承认自己本地使用率不高，但安全从业者和生物领域研究者对数据极敏感，后者常被前沿模型拒答，只能自部署中等模型。他举 Hugging Face 被攻击后用国产模型本地部署解决为例。

大多数人只看性价比

主播补充：SOTA 到什么程度才算够用，存在性价比拐点，像 4G 够用就不必上 5G。嘉宾承认很多人是盲目追求最强。主播判断最后豆包用户更多，隐私不是靠个人选择推动，而是应用公司与模型公司天然竞对，由苹果这类公司来推。节目在感谢与收尾中结束。