【GPT-2】论文解读:Language Models are Unsupervised Multitask Learners

文章目录

    • 介绍
      • zero-shot learning 零样本学习
    • 方法
      • 数据
      • Input Representation
    • 结果

论文:Language Models are Unsupervised Multitask Learners
作者:Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, I. Sutskever
时间:2019

介绍

GPT-2 是一个有15亿参数的模型,GPT-2的想法是转向一个通用的系统,不需要进行数据集的标注就可以执行许多的任务;

因为数据集的创建是很难的,我们很难继续将数据集的创建和目标的设计扩大到可能需要用现有的技术推动我们前进的程度。这促使我们去探索执行多任务学习的额外设置。

当前性能最好的语言模型系统是通过预训练模型和微调完成的,预训练主要是自注意力模块去识别字符串的语意,而微调主要是通过语意去得出不同的结果;这样一来,我们在执行不同的任务时,只需要替换掉微调的那部分结构就可以;

而GPT-2证实了语言模型能够在不进行任何参数和结构修改的情况下,拥有执行下游任务的能力,这种能力获取的主要方式是强化语言模型的 zero-shot

zero-shot learning 零样本学习

零样本学习也叫ZSL,通俗来讲就是说在训练集中并没有出现的y能够在测试集中识别出来;当然,如果不做任何处理我们是无法识别的,我们需要没有出现的y的信息来帮助我们识别y;通过上面的图我们可以知道,horse和donkey可以得出horselike,tiger和hyena可以得出stripe,penguin和panda 可以得出 black and white,这里我们可以通过zebra的描述信息可以得出horselike,stripe,black and white 的动物是斑马来训练模型,这样我们可以在测试集的时候识别出斑马;

这里有两篇比较详细的介绍:

零次学习(Zero-Shot Learning)入门 (zhihu.com)
零次学习(Zero-Shot Learning) - 知乎 (zhihu.com)

方法

首先介绍一下语言模型:

p ( x ) = p ( s 1 , s 2 , … , s n ) = ∏ i = 1 n p ( s n ∣ s 1 , … , s n − 1 ) p(x)=p(s_1,s_2,\dots,s_n)=\prod_{i=1}^{n}p(s_n|s_1,\dots,s_{n-1}) p(x)=p(s1,s2,,sn)=i=1np(sns1,,sn1)
其中 x x x是句子, s 1 , s 2 , … , s n s_1,s_2,\dots,s_n s1,s2,,sn 组成句子可能出现的词;

在经过预训练之后,我们在执行特定的任务时,我们需要对特定的输入有特定的输出,这时模型就变成了 p ( o u t p u t ∣ i n p u t ) p(output|input) p(outputinput) ;为了让模型更一般化,能执行不同的任务,我们需要对模型继续进行处理,变成了 p ( o u t p u t ∣ i n p u t , t a s k ) p(output|input, task) p(outputinput,task) ;

这样一来,我们需要对数据框架的形式进行一定的修改,如翻译任务我们可以写为

translate to french, english text , french text

阅读理解任务可以写为

answer the question, document, question, answer

语言模型在原则上来说是可以利用上面的框架进行无监督学习训练的;在训练过程中,由于最终的评价方式是一致的,所以监督学习和无监督学习的目标函数是一样的;唯一不同的是监督学习是在子集上进行评估损失,而无监督学习是在全局上评估损失,综合来说对全局不产生影响,因此无监督学习损失的全局最小值和有监督学习损失的全局最小值是一致的;

论文进行初步实验证实,足够多参数的模型能够在这种无监督训练方式中学习,但是学习要比有监督学习收敛要慢得多;

作者认为,对于有足够能力的语言模型来说,模型能够以某种方式识别出语言序列中的任务并且能够很好的执行它,如果语言模型能够做到这一点,那么就是在高效的执行无监督多任务学习;

数据

由于是多任务模型,需要构建尽可能大的和多样化的数据集,这里作者采用的是网络爬虫的方式进行解决;为了避免文档质量不高,这里只采集了经过人类策划/过滤后的网页,手动过滤是困难的,所以作者只采集了Reddit社交平台上信息;最后生成的数据集包含了4500万个链接的文本子集;文本是通过Dragnetnewspaper进行提取的,经过重复数据删除和一些启发式的清理,该链接包含近800万文档,共计40GB文本,并且删除了所有的维基百科文档,因为它是其他数据集的通用数据源,并且可能会由于过度-而使分析复杂化;

Input Representation

这里采用的是BPE编码方式,具体在[BPE]论文实现:Neural Machine Translation of Rare Words with Subword Units-CSDN博客可以详细了解;

结果

这里有ACC,PPL,BPC,BPB 四个指标:

详细可以看这篇文章:困惑度(perplexity)的基本概念及多种模型下的计算(N-gram, 主题模型, 神经网络) - 知乎 (zhihu.com)

ACC 指的是准确度: A C C = T P + T N T P + T N + F P + F N ACC=\frac{TP+TN}{TP+TN+FP+FN} ACC=TP+TN+FP+FNTP+TN

介绍后面的指标之前需要先介绍一下Cross entropy也就是交叉熵: H ( P , Q , s ) = − ∑ i = 1 n P ( x i ) l n Q ( x i ) H(P,Q,s)=-\sum_{i=1}^n P(x_i)lnQ(x_i) H(P,Q,s)=i=1nP(xi)lnQ(xi)
这里P指的是真实概率,Q指的是预测概率, x i x_i xi指的是每一个unit,而s由n个unit的 x i x_i xi组成,这里表示s这一句话的交叉熵;

PPL 指的是困惑度,也就是一句话出现的概率,句子出现的概率越大,困惑度越小: P P L = P ( x 1 , x 2 , … , x n ) − 1 N PPL=P(x_1,x_2,\dots,x_n)^{-\frac{1}{N}} PPL=P(x1,x2,,xn)N1
BPC,BPW和BPB 分别指的是bits-per-character, bits-per-word,bits-per-byte: B P C / B P W / B P B = 1 T ∑ t = 1 T H ( P , Q , s t ) BPC/BPW/BPB=\frac{1}{T}\sum_{t=1}^{T}H(P,Q,s_t) BPC/BPW/BPB=T1t=1TH(P,Q,st)
其不同就是在计算H的时候计算的分别是character,word,byte;主要在于分词;

由于PPL中P的特殊性,只有一个1,其余都是0,有公式如下:

B P C = − 1 T ∑ t = 1 T ∑ i = 1 n P ( c t i ) l n Q ( c t i ) = − 1 T ∑ t = 1 T l n Q ( s t ) = − 1 T l n P ( d o c u m e n t ) = l n P P L \begin{align} BPC & = -\frac{1}{T}\sum_{t=1}^T\sum_{i=1}^{n}P(c_{ti})lnQ(c_{ti}) \\ & = -\frac{1}{T}\sum_{t=1}^TlnQ(s_t) \\ & = -\frac{1}{T}lnP(document) \\ & = lnPPL \end{align} BPC=T1t=1Ti=1nP(cti)lnQ(cti)=T1t=1TlnQ(st)=T1lnP(document)=lnPPL

即有: P P L = e B P C PPL=e^{BPC} PPL=eBPC
从上图中可以看出GPT-2都表现出了不错的性能;

同时在儿童读物测试中 随着参数量的增加,性能都出现了一定的增强;

还有一些结果证实了无标注训练模型的能力,这里就不展示了,这篇文章证明了当一个大型语言模型在一个足够大和多样化的数据集上进行训练时,它能够在许多领域和数据集上表现良好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/475315.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java集合篇之set,面试官:请说一说HashSet、LinkedHashSet、TreeSet的区别?

写在开头 Java的集合世界中主要由List,Set,Queue,Map构成,我们在之前的博文中已经学习了List,接下来我们继续学习Set集合。 Set特点:存取无序,不可以存放重复的元素,不可以用下标对…

Sentinel注解@SentinelResource详解

Sentinel注解SentinelResource详解 熔断 针对访问超过限制【sentinel中配置的限制】的资源,通过java代码配置,返回一个自定义的结果,需要用到 SentinelResource 注解的 blockHandlerClass 和 blockHandler 属性。 blockHandlerClass&#…

Electron实战之进程间通信

进程间通信(IPC)并非仅限于 Electron,而是源自甚至早于 Unix 诞生的概念。尽管“进程间通信”这个术语的确创造于何时并不清楚,但将数据传递给另一个程序或进程的理念可以追溯至 1964 年,当时 Douglas McIlroy 在 Unix…

review 10

整理磁盘操作的完整流程,如何接入虚拟机,是否成功识别,对磁盘分区工具的使用,格式化,挂载以及取消挂载、复习cp、mv和find指令 1:U盘接入虚拟机 在弹出窗口直接选择 虚拟机-可移动设备-找到u盘-连接 2&a…

04_device_bus_driverLinux内核模块

01_basicLinux内核模块-CSDN博客文章浏览阅读45次。环境IDubuntuMakefilemodules:clean:basic.creturn 0;运行效果。https://blog.csdn.net/m0_37132481/article/details/136157384?csdn_share_tail%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%…

实习日志15

1.大改了一下界面 1.1.识别与验真 1.2.历史记录 2.改了几个bug 2.1.改json格式用JSON.stringify(value,null,2); 2.2.内嵌页面值与原页面值重复 2.3.验真条件判断 if (isVerifyCell.getValue() "不需要") {if (verifyResultCell.getValue() ! "未查验")…

树和二叉树的基本知识

一、树的概念及结构 1.树的概念 树是一种 非线性 的数据结构,它是由 n ( n>0 )个有限结点组成一个具有层次关系的集合。 把它叫做树是因 为它看起来像一棵倒挂的树,也就是说它是根朝上,而叶朝下的 。 有一个 特殊…

分享一个学英语的网站

名字叫:公益大米网​​​​​​​ Freerice 这个网站是以做题的形式来记忆单词,题干是一个单词,给出4个选项,需要选出其中最接近题干单词的选项。 答对可以获得10粒大米,网站的创办者负责捐赠。如图 触发某些条件&a…

Linux系统的历史记录添加时间和IP信息

1 为什么要优化系统历史记录 对于linux系统,默认情况下,系统记录的历史命令比较简单。某些历史记录可能也无法正常保存,因此当服务器出现异常,希望通过历史命令来了解曾经做了哪些操作时,往往非常被动,下面…

挑战杯 基于CNN实现谣言检测 - python 深度学习 机器学习

文章目录 1 前言1.1 背景 2 数据集3 实现过程4 CNN网络实现5 模型训练部分6 模型评估7 预测结果8 最后 1 前言 🔥 优质竞赛项目系列,今天要分享的是 基于CNN实现谣言检测 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐&am…

宜昌博物馆龙文物展,以数据为盾完成文物保护

​一、湖北宜昌博物馆龙文物精品展的独特魅力 近日,在湖北宜昌博物馆举行的甲辰年龙文物精品展上,多件包含“龙元素”的文物正式向社会展出。龙自古以来就是中华民族象征,带有“龙图案”或“龙元素”的物件,广泛存在于中国人“吃…

vue-productionSourceMap作用

当其设置为false时(productionSourceMap: false) 当其设置为true时(productionSourceMap: true) 注:1.当设置为true时,打包后每个文件都有一个.map文件,其目的是为了精确定位代码错误 2.当设置为false时,可减少项目打包大小 3.正式环境禁止使用true,因为其可通过反编译.map文件…