2022-03-262245阅读自然语言处理【NLP】BERT语言模型BERT实际上是Transformer的encoder部分，其功能将输入的词向量通过self-attention机制得到输出向量。BERT的训练采用了自监督（self-supervised le...
2022-03-262733阅读自然语言处理【NLP】一文理解Self-attention和Transformer一、自注意力机制（一）序列与模型哪些场景是用向量作为输入呢？首先是词的表示，表示词的方式：One-hot Encoding（词向量很长，并且词之间相互独立）、Word Embedding。然后是...
