逐步理解 Transformers 的数学原理

正文

请到「今天看啥」查看全文

使用set操作有助于删除重复项，然后我们可以计算唯一的单词以确定词汇量。因此，词汇量为23，因为给定列表中有23个独特的单词。

Step 3 (Encoding and Embedding)

接下来为数据集的每个唯一单词分配一个整数作为编号。

在对我们的整个数据集进行编码之后，是时候选择我们的输入了。我们将从语料库中选择一个句子以开始:

“When you play game of thrones”

作为输入传递的每个字将被表示为一个编码，并且每个对应的整数值将有一个关联的embedding联系到它。

• 这些embedding可以使用谷歌Word2vec (单词的矢量表示) 找到。在我们的数值示例中，我们将假设每个单词的embedding向量填充有 (0和1) 之间的随机值。

• 此外，原始论文使用embedding向量的512维度，我们将考虑一个非常小的维度，即5作为数值示例。

现在，每个单词embedding都由5维的embedding向量表示，并使用Excel函数RAND() 用随机数填充值。

Step 4 (Positional Embedding)

让我们考虑第一个单词，即 “when”，并为其计算位置embedding向量。位置embedding有两个公式:

第一个单词 “when” 的POS值将为零，因为它对应于序列的起始索引。此外，i的值 (取决于是偶数还是奇数) 决定了用于计算PE值的公式。维度值表示embedding向量的维度，在我们的情形下，它是5。

请到「今天看啥」查看全文