温馨提示:本文翻译自stackoverflow.com，查看原文请点击：nlp - Difficulty in understanding the tokenizer used in Roberta model
bert-language-model huggingface-transformers nlp pytorch

nlp - 难以理解Roberta模型中使用的标记器

发布于 2020-07-05 11:57:15 
from transformers import AutoModel, AutoTokenizer

tokenizer1 = AutoTokenizer.from_pretrained("roberta-base")
tokenizer2 = AutoTokenizer.from_pretrained("bert-base-cased")

sequence = "A Titan RTX has 24GB of VRAM"
print(tokenizer1.tokenize(sequence))
print(tokenizer2.tokenize(sequence))

输出：

['A'，'ĠTitan'，'ĠRTX'，'Ġhas'，'Ġ24'，'GB'，'Ġof'，'ĠVR'，'AM']

['A'，'Titan'，'R'，'## T'，'## X'，'has'，'24'，'## GB'，'of'，'V'，'##内存']

伯特模型使用WordPiece标记程序。WordPiece词汇表中未出现的任何单词都会贪婪地分解为子单词。例如，“ RTX”分为“ R”，“ ## T”和“ ## X”，其中##表示它是一个子令牌。

Roberta使用BPE令牌生成器，但我听不懂

a）BPE令牌生成器如何工作？

b）G在每个令牌中代表什么？

查看更多

提问者
Mr. NLP
被浏览
1
分享
dennlinger 2020-04-10 15:45

这个问题非常广泛，因此我想给出一个针对当前主要问题的答案。如果您需要回答其他问题，请一次打开一个重点关注一个问题的问题，请参阅Stackoverflow的[help / on-topic]规则。

本质上，正如您已经正确地确定的那样，BPE对于现代深度网络中的任何标记化都是至关重要的。我强烈建议您阅读Sennrich等人的原始BPE论文。，其中还重点介绍了BPE的历史。
在任何情况下，任何拥抱模型的令牌生成器都是经过预训练的，这意味着它们通常是事先从算法的训练集中生成的。诸如SentencePiece之类的常见实现也可以更好地理解它，但是从本质上讲，该任务被构造为一个约束优化问题，在该问题中，您指定了k允许的最大词汇量（约束），然后算法尝试保留尽可能多的词汇完整无缺的单词k。

如果没有足够的单词来覆盖整个词汇表，则使用较小的单位来近似词汇表，这将导致您在给出的示例中观察到分裂。RoBERTa使用一种称为“ 字节级BPE ” 的变体，Wang等人的这项研究可能给出了最好的解释。。据我所知，主要好处是，它可以减少词汇量，同时保持拆分的质量。

问题的第二部分更容易解释。BERT突出显示两个后续令牌（带有）的合并##，而RoBERTa的令牌生成器则突出显示具有特定unicode字符（在本例中为带有点的G 的新令牌\u0120）的开头。我为此找到的最佳原因是该线程，该线程认为它基本上避免了在训练中使用空格。

相关问题

1
未定义word2vec（Julia）
2
是否有功能可以打印出spaCy中最相似的句子？
3
BILOU标签在命名实体识别中是什么意思？
4
gensim most_like具有正负两面，它是如何工作的？
5
SpaCy使用自定义的Sentencizer错误将模型保存到磁盘
6
生成名词的复数形式
7
CYK算法的Python实现
8
如何在Bi-LSTM中添加关注层
9
包空间
10
如何在spaCy中将双点符号化为单独的标记？

热门github

1
Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information (翻译：论文实现——YOLOv9: Learning What You Want to Learn using Programmable Gradient Information（利用可编程梯度信息学习您想学的内容）)
2
A Windows and Office activator using HWID / Ohook / KMS38 / Online KMS activation methods, with a focus on open-source code and fewer antivirus detections. (翻译：使用 HWID / KMS38 / Online KMS 激活方法激活 Microsoft 产品的脚本集合，重点是开源代码、较少的防病毒检测和用户友好性。)
3
Get up and running with Llama 2, Mistral, Gemma, and other large language models. (翻译：启动并运行 Llama 2、Mistral、Gemma 和其他大型语言模型。)
4
该项目可以让你通过订阅的方式使用Cloudflare WARP+，自动获取流量。This project enables you to use Cloudflare WARP+ through subscription, automatically acquiring traffic.
5
Multi functional app to find duplicates, empty folders, similar images etc. (翻译：多功能应用程序可查找重复项、空文件夹、相似图像等。)
6
Xray panel supporting multi-protocol multi-user expire day & traffic & ip limit (Vmess & Vless & Trojan & ShadowSocks & Wireguard) (翻译：Xray面板支持多协议多用户到期日&流量&IP限制（Vmess & Vless & Trojan & ShadowSocks & Wireguard)
7
The Free Software Media System (翻译：Jellyfin 是一个免费软件媒体系统，可让您控制管理和流式传输您的媒体。它是专有 Emby 和 Plex 的替代方案，通过多个应用程序从专用服务器向最终用户设备提供媒体。)
8
lightweight, standalone C++ inference engine for Google's Gemma models. (翻译：适用于 Google Gemma 模型的轻量级独立 C++ 推理引擎。)
9
📚 Freely available programming books (翻译：📚 免费提供的编程书籍)
10
A collective list of free APIs (翻译：免费 API 的集合列表)
11
1️⃣🐝🏎️ The One Billion Row Challenge -- A fun exploration of how quickly 1B rows from a text file can be aggregated with Java (翻译：十亿行挑战 —— 使用 Java 对文本文件中的 10 亿行数据进行聚合的有趣探索)
12
🎓 Path to a free self-taught education in Computer Science! (翻译：🎓计算机科学免费自学教程！)
13
Curso para aprender el lenguaje de programación Python desde cero y para principiantes. 75 clases, 37 horas en vídeo, código, proyectos y grupo de chat. Fundamentos, frontend, backend, testing, IA... (翻译：从零开始学习 Python 编程语言的课程，适合初学者)
14
This repository contains System Design resources which are useful while preparing for interviews and learning Distributed Systems (翻译：该存储库包含系统设计资源，在准备面试和学习分布式系统时非常有用)
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention. (翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)