聊点稍微硬核一点的，填个之前的坑，面向非码农非AI从业者的AI模型入门。“浅”谈GPT背后模型的真实，你将听到主播尽力用大白话解释的如下内容:

• 神经网络和AI工作原理
• 神经网络的输入、输出、训练
• 词向量 word embedding/one-hot/word2vec
• 梯度下降
• seq2seq，encoder-decoder
• attention机制的具体运作
• transformer框架

无公式无复杂数学，可放心食用。同时主播水平有限，为了尽量让意思好理解可能有些错误，若有纰漏，烦请指正，提前抱歉！

主播：松阴

节目开始前，请大家加入听友群(加群方法见播客介绍页)，以及帮忙多多转发！

00:53 “免责声明”

03:00 GPT到底指的是什么？

04:27 AI就是用数值化的方法对世界做参数估计

05:44 为什么是神经网络？

07:14 从one-hot encoding开始，把文字输入变成数值向量

09:32 模型输出和如何训练(损失函数和优化模型)

13:18 更好的输入：词向量 word embedding  (word2vec, glove, …)

19:23 梯度下降、梯度爆炸/消失 

23:03 生成式、语言模型、seq2seq

26:00 RNN 循环神经网络

28:48 Attention 注意力机制

31:06 query, key, value 详解attention机制

35:00 multihead 多头注意力

37:50 attention到Transformer

39:10 positional encoding 位置编码

41:16 训练解码器decoder需要masked attention

42:42 最终decoder生成结果需要结合encoder输出和decoder本身attention

延展资料

Transformer框架

attention里的query/key/value

多头注意力

带你可视化了解seq2seq https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/

带你可视化了解attention和 transformer https://jalammar.github.io/illustrated-transformer/

PyTorch的Transformer代码教程 https://nlp.seas.harvard.edu/annotated-transformer/

attention is all you need https://arxiv.org/abs/1706.03762