2022-03-263028阅读自然语言处理【NLP】BERT语言模型BERT实际上是Transformer的encoder部分,其功能将输入的词向量通过self-attention机制得到输出向量。BERT的训练采用了自监督(self-supervised le...
2022-03-263078阅读自然语言处理【NLP】一文理解Self-attention和Transformer一、自注意力机制(一)序列与模型哪些场景是用向量作为输入呢?首先是词的表示,表示词的方式:One-hot Encoding(词向量很长,并且词之间相互独立)、Word Embedding。然后是...