博舍

Bert与GPT bert与gpt的区别

Bert与GPT

BERT的三个Embedding详解

有藤壶的小海龟:输入的序列不一样,不同embedding层的输出的向量不一样

BERT的三个Embedding详解

还卿一钵无情泪:补充回答看了一些相关介绍之前的回答有误Transformer的位置编码是一个固定值,因此只能标记位置,但是不能标记这个位置有什么用。BERT的位置编码是可学习的Embedding,因此不仅可以标记位置,还可以学习到这个位置有什么用

BERT的三个Embedding详解

还卿一钵无情泪:这个指的是bert词表的大小,图是想表示这个模型有一个30522大小的词向量词表,后续进行lookup,然后产生result

BERT的三个Embedding详解

还卿一钵无情泪:这个指的是bert词表的大小,图是想表示这个模型有一个30522大小的词向量词表,后续进行lookup,然后产生result

BERT的三个Embedding详解

weixin_56855785:请问下tokenemb的30522是什么含义呢

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇