人要不要本地部署DeepSeek?核心是平衡成本、精确、智能!

要不要本地部署DeepSeek?核心是平衡成本、精确、智能!

人民公园说AI·2025 年 2 月 11 日·1 小时 12 分
在小宇宙播放
创作者写的节目说明

如题。

如果说ChatGPT是AI的iPhone时刻,那DeepSeek将是AI的安卓时刻!参考上期播客

一、本地部署DeepSeek真的可行吗?

这样说说吧,奥拓就别想着买奥迪的发动机了

为什么大家希望本地部署?当年安卓刚出来,人人都想去下个ROM刷个机,就好像今天大家都想试着部署DeepSeek,为什么有这种心理呢?

混合部署与蒸馏小模型未来如何?理论上会有更多蒸馏的小模型出来,利好各方面的创业,但是难点还是如何调优,而不是模型本身的能力

二、要不要本地部署,核心是考虑:成本vs精确vs智能

成本vs精确vs智能。本质上要解决这个三角,除了调优以外,也考验你对需求的结构能力

云服务是AI的底座,AI只是云服务的卖点。如果说 DeepSeek模型是满血的,那么运营就是残血状态,毕竟AI的运维能力和成本不是小厂能cover的

成本!深度学习推理与本地化架构的成本。要考虑到运维工程师、部署环境和工具可能每六个月就会完全迭代一次,这将是很大的成本

最大的悖论!有能力把模型做到本地的团队,很可能做不好数据标注和调优,很可能不懂市场和运营。更重要是你要想明白用什么,是总结、生成还是推理,不同的用法,部署的模式不一样

做大模型和做应用本质上是两套班子。为什么OpenAI要投资Harvey和Speak,理论上他们都是基于GPT做的优化,但是产品架构和团队的技术能力完全不同,无法用一套班子cover掉

三、哪些行业适合本地部署模型?

哪些业适合本地部署?1)只需要归纳、总结、生成的,不需要过高智能的;2)数据有限但需要专业数据标注的,如法律、会计师

个人层面的AI,未来文件夹式的文件结构将会被颠覆,取而代之的是本地的自然语言的搜索和展现

彩蛋

【关注主播】:

📕小红书:叫我小苏就好啊

📺B站:叫我小苏就好啊

📱微信:Roisu117

【关注频道】:

📕小红书:人民公园说AI

▶️油管:人民公园说AI

🐦推特:人民公园说AI


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

人民公园说AI · 更多单集

看全部 150 期 →

人民公园说AI

人要不要本地部署DeepSeek?核心是平衡成本、精确、智能!

人民公园说AI · 2025 年 2 月 11 日 · 1 小时 12 分

要不要本地部署DeepSeek?核心是平衡成本、精确、智能!

在小宇宙播放
创作者写的节目说明

如题。

如果说ChatGPT是AI的iPhone时刻,那DeepSeek将是AI的安卓时刻!参考上期播客

一、本地部署DeepSeek真的可行吗?

这样说说吧,奥拓就别想着买奥迪的发动机了

为什么大家希望本地部署?当年安卓刚出来,人人都想去下个ROM刷个机,就好像今天大家都想试着部署DeepSeek,为什么有这种心理呢?

混合部署与蒸馏小模型未来如何?理论上会有更多蒸馏的小模型出来,利好各方面的创业,但是难点还是如何调优,而不是模型本身的能力

二、要不要本地部署,核心是考虑:成本vs精确vs智能

成本vs精确vs智能。本质上要解决这个三角,除了调优以外,也考验你对需求的结构能力

云服务是AI的底座,AI只是云服务的卖点。如果说 DeepSeek模型是满血的,那么运营就是残血状态,毕竟AI的运维能力和成本不是小厂能cover的

成本!深度学习推理与本地化架构的成本。要考虑到运维工程师、部署环境和工具可能每六个月就会完全迭代一次,这将是很大的成本

最大的悖论!有能力把模型做到本地的团队,很可能做不好数据标注和调优,很可能不懂市场和运营。更重要是你要想明白用什么,是总结、生成还是推理,不同的用法,部署的模式不一样

做大模型和做应用本质上是两套班子。为什么OpenAI要投资Harvey和Speak,理论上他们都是基于GPT做的优化,但是产品架构和团队的技术能力完全不同,无法用一套班子cover掉

三、哪些行业适合本地部署模型?

哪些业适合本地部署?1)只需要归纳、总结、生成的,不需要过高智能的;2)数据有限但需要专业数据标注的,如法律、会计师

个人层面的AI,未来文件夹式的文件结构将会被颠覆,取而代之的是本地的自然语言的搜索和展现

彩蛋

【关注主播】:

📕小红书:叫我小苏就好啊

📺B站:叫我小苏就好啊

📱微信:Roisu117

【关注频道】:

📕小红书:人民公园说AI

▶️油管:人民公园说AI

🐦推特:人民公园说AI


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

人人民公园说AI

人民公园说AI

一档以行业观察者视角深度解读AI行业动态与商业逻辑的科技播客,聚焦AI产品落地、能力边界与AGI路径之争。

已收录 150 期 · 最近更新 11 月 5 日

在哪里听

https://feed.xyzfm.space/49cgd8grgrnf复制

内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 150 期 →