Encoder 和 Decoder的不同

1. 在 Encoder 的每一个 block 中只有一个 Multi-Head Attention 层，而 Decoder 有两个，而且中间的 Attention 不是自注意力层，为 K, V 来自Encoder 的输出，而 Q 来自前一个模块的输出。

2. Mask 不同，Encoder 的是全局可见，而 Decoder 不能看见当前单词之后的。（是一个下三角方阵）

BERT 和 Transformer 位置编码的区别

• BERT是词汇表形式的Embedding，是一个 max_seq_len * hidden_size 的矩阵，是一个绝对位置编码。

• Transformer 是一个三角函数的形式的位置编码，计算 Attention 的时候可以表示相对位置。

1. 需要体现同一单词在不同位置的区别。

2. 需要体现一定的先后次序，并且在一定范围内的编码差异不应该依赖于文本的长度，具有一定的不变性。

3. 需要有值域的范围限制。

WordPiece 预处理

参考资料：https://www.cnblogs.com/huangyc/p/10223075.html

1. 较少词表

2. 过滤低频的词，模型更好学

3. 时态之间语义关联更强