苔61. 在Harvey训练大模型是什么体验?- Joey Wang

61. 在Harvey训练大模型是什么体验?- Joey Wang

苔藓之火·2026 年 11 月 10 日·1 小时 12 分
在小宇宙播放
创作者写的节目说明

“法律的后果会比代码更严重。”

“我们永远都是能够做一个在法律中去做一些决策权……甚至能提供 intelligence level,能够提供在法律中做决策一些 taste。”

“很多东西模型公司没有办法去解决,甚至 lab 要去做,他也没有办法替我们说这个模型会在法律更好。”

“当你一个 agent 就能看到 30 个文件和看到 3000 个文件的时候,你不管什么样的模型,看到 3000 个文件的 agent 都会有更好的收获。”

“模型是验证你这个公司能不能作为上市公司、能不能有很好的 profit margin 而做的一个事情。”

主持:Raymond - 美元二级基金合伙人,苔藓之火主播

小红书 |B站 |抖音 |视频号|Youtube | Substack | Linkedin|即刻 |公众号:苔藓之火

嘉宾:Joey Wang - Harvey Linkedin, Prev. Figma, Uber, Google

Show Notes

开场:Harvey 估值 155 亿美元、3500 客户、85 国;垂类护城河之问

Joy 背景:Harvey agents/云端 H 平台 Spector,前 Figma、Uber

为什么 2023 年加入 Harvey:GPT 早期体验、PHD recruiter、conviction

大厂 vs 创业公司:审批与部门拉扯 vs 快速 build/ship

Harvey 产品形态:嵌入律师工作流、connector、邮件文档、redline

Redline 与 track changes:谁改的、为什么改、可追溯;律师工作变小

公司名 Harvey vs Mike:提供决策 taste,不只是繁琐工作

大模型迭代是否取代垂类功能:workflow builder → agent builder

何时决定做模型:客户理解、benchmark、synthetic data、post-train 商业化

Taste:法律要长篇大论、每句有索引,不是简短就好

模型选择:Kimi/GLM/千问/DeepSeek,按场景 post-train,orchestrator 调度

Tana/Tenant:内部旗舰训练方向,用 Kimi K3 训 1.0,方法可迁移

Benchmark 难点:法律难对齐、分层任务、playbook、内部法律团队、专家 taste

垂类训模型人才与坑:早期瓶颈是产品;开源最好模型是下限;失败是常态

工程优化立竿见影:搜索 2 秒→200ms,30→3000 文件;Spector 与安全信任

核心观点总结

  1. Harvey 是法律垂类 AI 应用,但它的护城河不只是“套壳”
    Harvey 估值 155 亿美元,3500 客户、覆盖 85 国,美国前 100 律所约 80% 在用。它的核心不是做一个聊天框让律师来用,而是嵌入律师原本的工作方式:Word、Excel、Outlook、文档系统、邮件、合同审查,通过 connector 连接数据,输出可追溯的 redline。

  2. 垂类应用的关键是“meet with customer”,不是把用户拉到新平台
    律师真正的工作发生在 Word、Excel、Outlook 和大量文档里。Harvey 的产品形态要映射律师已有的工作流,而不是要求他们重新学一套平台。最终交付物仍然是 Word 文档,但带有 redline、修改解释、来源追溯。

  3. Redline 和 track changes 是法律场景的关键产品设计
    普通 GPT 可能直接改文档,律师还得“大家来找茬”;Harvey 输出 redline,标明谁改的、为什么改、是 Harvey 改的还是对方律师改的,律师只需 check/accept,工作变小而不是变大。

  4. Harvey 与模型的关系是相辅相成,不是简单调用 API
    早期用 GPT-3.5/4 做法律 demo,OpenAI 是投资人,双方有 pretrain 合作。Harvey 很早就是 legal model research company,只是今年才到可商业化阶段:客户足够多、benchmark 和 synthetic data 能力成熟,后训练变得更可行。

  5. 模型策略:不做大而全,做小而美、场景专用,用 orchestrator 调度
    Harvey 会公开试用 Kimi、GLM、千问、DeepSeek 等开源模型,按场景做 post-train;不同模型在不同任务上有差异,最后用强模型做 orchestrator/delegation,像“图书馆前台帮你找对应的书”。

  6. 后训练的核心不是堆 research 人力,而是 benchmark 和 taste
    法律 benchmark 很难对齐,需要分层任务、playbook、yes/no 评测、内部法律团队和领域专家 taste。Harvey 的 benchmark 要不断接近用户真实场景,甚至预测用户未来会用的场景。数据规模化可与 Surge 等合作,但前期方向和质量判断留在内部。

  7. 垂类公司训模型最大的坑:开源最好模型只是下限
    如果开源最好模型在法律上已经能打 OpenAI/Anthropic,后训练必须比它更好才有意义。失败是常态,只是早期失败不会写进 blog。模型训练是长期学习过程,工程优化往往更立竿见影。

  8. 工程 harness 的价值被低估:搜索从 2 秒到 200 毫秒,效果天差地别
    document search 从 2 秒降到 200 毫秒,agent 一分钟内能从搜 30 个文件变成 300 个;从串行到并行,再从 300 到 3000 个文件。模型不变,agent 能看到 3000 个文件,效果也会更好。

  9. 人才结构反直觉:早期瓶颈是产品,不是 research
    Harvey 早期都是 researcher,但真正缺的是 PM、designer、产品 spec。做模型不一定需要大量 research 人力,更需要懂法律、能跟专家提炼 taste 的人;律师自己也能用 coding agent 写 benchmark/evaluation engine。

  10. Spector:云端 sandbox agent,解决多人协作与可验证性
    Joy 做的内部产品 Spector,把 coding agent 放进沙盒,在 Slack 里多人可 tag、共享 runtime/context/trace。解决的是五个人各自跑 agent、结果不可验证的问题。落地难点不是实现,而是权限、安全边界、信任:谁能让 agent 看什么、能不能 bypass 代码 review 规则。

  11. 小律所市场:Harvey 偏 SLG,不急于 PLG
    法律后果比代码严重,self-serve 容易让用户误以为 Harvey 对结果负责。Harvey 更愿意找 design partner、有供应商制度、能管好结果的客户,而不是急速扩张让所有人用。


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

苔藓之火 · 更多单集

看全部 60 期 →

苔藓之火

苔61. 在Harvey训练大模型是什么体验?- Joey Wang

苔藓之火 · 11 月 10 日 · 1 小时 12 分

61. 在Harvey训练大模型是什么体验?- Joey Wang

在小宇宙播放
创作者写的节目说明

“法律的后果会比代码更严重。”

“我们永远都是能够做一个在法律中去做一些决策权……甚至能提供 intelligence level,能够提供在法律中做决策一些 taste。”

“很多东西模型公司没有办法去解决,甚至 lab 要去做,他也没有办法替我们说这个模型会在法律更好。”

“当你一个 agent 就能看到 30 个文件和看到 3000 个文件的时候,你不管什么样的模型,看到 3000 个文件的 agent 都会有更好的收获。”

“模型是验证你这个公司能不能作为上市公司、能不能有很好的 profit margin 而做的一个事情。”

主持:Raymond - 美元二级基金合伙人,苔藓之火主播

小红书 |B站 |抖音 |视频号|Youtube | Substack | Linkedin|即刻 |公众号:苔藓之火

嘉宾:Joey Wang - Harvey Linkedin, Prev. Figma, Uber, Google

Show Notes

开场:Harvey 估值 155 亿美元、3500 客户、85 国;垂类护城河之问

Joy 背景:Harvey agents/云端 H 平台 Spector,前 Figma、Uber

为什么 2023 年加入 Harvey:GPT 早期体验、PHD recruiter、conviction

大厂 vs 创业公司:审批与部门拉扯 vs 快速 build/ship

Harvey 产品形态:嵌入律师工作流、connector、邮件文档、redline

Redline 与 track changes:谁改的、为什么改、可追溯;律师工作变小

公司名 Harvey vs Mike:提供决策 taste,不只是繁琐工作

大模型迭代是否取代垂类功能:workflow builder → agent builder

何时决定做模型:客户理解、benchmark、synthetic data、post-train 商业化

Taste:法律要长篇大论、每句有索引,不是简短就好

模型选择:Kimi/GLM/千问/DeepSeek,按场景 post-train,orchestrator 调度

Tana/Tenant:内部旗舰训练方向,用 Kimi K3 训 1.0,方法可迁移

Benchmark 难点:法律难对齐、分层任务、playbook、内部法律团队、专家 taste

垂类训模型人才与坑:早期瓶颈是产品;开源最好模型是下限;失败是常态

工程优化立竿见影:搜索 2 秒→200ms,30→3000 文件;Spector 与安全信任

核心观点总结

  1. Harvey 是法律垂类 AI 应用,但它的护城河不只是“套壳”
    Harvey 估值 155 亿美元,3500 客户、覆盖 85 国,美国前 100 律所约 80% 在用。它的核心不是做一个聊天框让律师来用,而是嵌入律师原本的工作方式:Word、Excel、Outlook、文档系统、邮件、合同审查,通过 connector 连接数据,输出可追溯的 redline。

  2. 垂类应用的关键是“meet with customer”,不是把用户拉到新平台
    律师真正的工作发生在 Word、Excel、Outlook 和大量文档里。Harvey 的产品形态要映射律师已有的工作流,而不是要求他们重新学一套平台。最终交付物仍然是 Word 文档,但带有 redline、修改解释、来源追溯。

  3. Redline 和 track changes 是法律场景的关键产品设计
    普通 GPT 可能直接改文档,律师还得“大家来找茬”;Harvey 输出 redline,标明谁改的、为什么改、是 Harvey 改的还是对方律师改的,律师只需 check/accept,工作变小而不是变大。

  4. Harvey 与模型的关系是相辅相成,不是简单调用 API
    早期用 GPT-3.5/4 做法律 demo,OpenAI 是投资人,双方有 pretrain 合作。Harvey 很早就是 legal model research company,只是今年才到可商业化阶段:客户足够多、benchmark 和 synthetic data 能力成熟,后训练变得更可行。

  5. 模型策略:不做大而全,做小而美、场景专用,用 orchestrator 调度
    Harvey 会公开试用 Kimi、GLM、千问、DeepSeek 等开源模型,按场景做 post-train;不同模型在不同任务上有差异,最后用强模型做 orchestrator/delegation,像“图书馆前台帮你找对应的书”。

  6. 后训练的核心不是堆 research 人力,而是 benchmark 和 taste
    法律 benchmark 很难对齐,需要分层任务、playbook、yes/no 评测、内部法律团队和领域专家 taste。Harvey 的 benchmark 要不断接近用户真实场景,甚至预测用户未来会用的场景。数据规模化可与 Surge 等合作,但前期方向和质量判断留在内部。

  7. 垂类公司训模型最大的坑:开源最好模型只是下限
    如果开源最好模型在法律上已经能打 OpenAI/Anthropic,后训练必须比它更好才有意义。失败是常态,只是早期失败不会写进 blog。模型训练是长期学习过程,工程优化往往更立竿见影。

  8. 工程 harness 的价值被低估:搜索从 2 秒到 200 毫秒,效果天差地别
    document search 从 2 秒降到 200 毫秒,agent 一分钟内能从搜 30 个文件变成 300 个;从串行到并行,再从 300 到 3000 个文件。模型不变,agent 能看到 3000 个文件,效果也会更好。

  9. 人才结构反直觉:早期瓶颈是产品,不是 research
    Harvey 早期都是 researcher,但真正缺的是 PM、designer、产品 spec。做模型不一定需要大量 research 人力,更需要懂法律、能跟专家提炼 taste 的人;律师自己也能用 coding agent 写 benchmark/evaluation engine。

  10. Spector:云端 sandbox agent,解决多人协作与可验证性
    Joy 做的内部产品 Spector,把 coding agent 放进沙盒,在 Slack 里多人可 tag、共享 runtime/context/trace。解决的是五个人各自跑 agent、结果不可验证的问题。落地难点不是实现,而是权限、安全边界、信任:谁能让 agent 看什么、能不能 bypass 代码 review 规则。

  11. 小律所市场:Harvey 偏 SLG,不急于 PLG
    法律后果比代码严重,self-serve 容易让用户误以为 Harvey 对结果负责。Harvey 更愿意找 design partner、有供应商制度、能管好结果的客户,而不是急速扩张让所有人用。


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

苔苔藓之火

苔藓之火

以一线从业者深度访谈为主,从个人经历切入拆解AI产业链的人才、组织、广告、能源与资本泡沫等具体问题

已收录 60 期 · 最近更新 11 月 10 日

在哪里听

https://feed.xyzfm.space/c6t98368jtpv复制

内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 60 期 →