来自谷歌AI(前身为谷歌Research)和芝加哥丰田技术研究所的研究人员创造出了ALBERT，这是一种人工智能模型，它可以获得超过人类表现的最先进的结果。ALBERT现在在主要的NLP性能排行榜上排名第一，比如GLUE和SQuAD 2.0的基准，以及高的比赛性能分数。
在StanfordQuestionAnsweringDataset benchmark (SQUAD)中，ALBERT的分数为92.2，在General Language Understanding Evaluation (GLUE) benchmark中，ALBERT的分数为89.4，在ReAdingComprehension from englishexam (RACE) benchmark中，ALBERT的分数为89.4%。
ALBERT是基于变压器的BERT的一个版本，根据OpenReview.net周三和arXiv周四发表的一篇论文，它“使用参数减少技术来降低内存消耗和提高BERT的训练速度”。这篇论文与其他正在考虑发表的论文一起发表，作为国际学习陈述会议的一部分，该会议将于2020年4月在埃塞俄比亚的亚的斯亚贝巴举行。ICLR将是首次在非洲举行的国际人工智能社区会议。
“我们提出的方法使得模型比原始的BERT模型具有更好的伸缩性。我们还使用了一种自我监督的缺失，这种缺失主要集中在句子间连贯性的建模上，并表明它始终如一地通过多句输入帮助下游任务，”论文写道。
阿尔伯特是伯特的最新衍生品，在主要的基准测试中名列前茅。7月下旬，Facebook人工智能研究部门推出了RoBERTa模型，该模型取得了最先进的成果;5月，微软人工智能研究部门又推出了多任务深度神经网络(MT-DNN)，该模型在9个GLUE基准测试中取得了7分的高分。
每个模型的性能都超过了人类的平均性能。
在其他与变压器相关的新闻中，hug Face是一家创业公司，它的PyTorch库可以方便地使用像BERT这样的主要变压器模型，Open AI的gps -2和谷歌的XLNet今天使该库可用于TensorFlow。