AIGC 技术及应用初探-编程知识

ChatGPT 相关话题近一年多来被刷爆，利用 AI 技术生成内容，引起了各行各业的关注。其实，自2022 年 4 月起，OpenAI、Google、Microsoft 相继发布了文生图模型，视觉创作就已经开始持续火热了。国内 AIGC 相关的技术和应用也在迅猛的发展，逐步走进人们的视野当中，并引起了极大的谈论度。

Q：ChatGPT、AIGC、AI、NLP 等这些概念之间究竟是什么样的关系呢？下面，本篇文章将会围绕 ChatGPT 展开讲起～

ChatGPT 周边

ChatGPT (Chat Generative Pre-Trained Transformer): OpenAI 开发的聊天机器人语言模型，基于 GPT 3.5，GPT 3.0 是在 2020 年 6 月发布，使用大型语言模型（LLM,Large Language Model）来训练，并把结果存储到 Transformer 的模型参数中。预先训练得到的通用语言模型，所以能力强大，”善解人意“，即刻答复。

ChatGPT 是生成式 AI 的一种形式，它使用的核心技术之一是 Transformer。

AIGC (AI Generated Content) 「内容生产」发展历程介绍

大模型有以下优点：

1、效果好，可以提供强大的表示基础

2、通用性，提供统一的建模方式

3、泛化强，举一反三的少样本学习

因此大模型是适合 AIGC 的解决方案

NLP 简要介绍

自然语言处理（Natural Language Processing，NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。

其中，由 Attention 机制向 Transformer 的发展是其中一个重大转变

标准的 Transformer 模型主要由两个模块构成：

Encoder（左边）：负责理解输入文本，为每个输入构造对应的语义表示（语义特征
Decoder（右边）：负责生成输出，使用 Encoder 输出的语义表示结合其他输入来生成目标序列。

虽然新的 Transformer 模型层出不穷，它们采用不同的预训练目标在不同的数据集上进行训练，但是大致上依然可以按模型结构将其分为三类：

纯 Encoder 模型（例如 BERT），又被称为自编码 (auto-encoding) Transformer 模型；
- ChatGPT 所依赖 GPT3.5 语言模型的的底层正是 Transformer。
- 上面所有提到的 Transformer 模型本质上都是预训练语言模型，它们都采用自监督的方式在大量的生语料 (raw text) 上进行训练。自监督学习是一种训练目标可以根据模型的输入自动计算的训练方法，不需要人工标注数据。
- 纯 Encoder 模型只使用 Transformer 模型中的 Encoder 模块，也被称为自编码 (auto-encoding) 模型。在每个阶段，注意力层都可以访问到原始输入句子中的所有词语，即具有“双向 (Bi-directional)”注意力。纯 Encoder 模型通常通过破坏给定的句子（例如随机遮盖其中的单词），然后让模型进行重构来进行预训练，最适合处理那些需要理解整个句子语义的任务，例如句子分类、命名实体识别（词语分类）和抽取式问答。
- 纯 Decoder 模型（例如 GPT），又被称为自回归 (auto-regressive) Transformer 模型；
- Encoder-Decoder 模型（例如 BART、T5），又被称为 Seq2Seq (sequence-to-sequence) Transformer 模型。

应用领域
- 信息提取
- 文本生成
- 智能问答
- 机器翻译
- 情感分析
- 语音识别
- ......

大模型的应用类型

图像生成

题图：文心大模型绘制的一张照片

题图：达摩院文生图大模型绘制的一张照片

文本生成
代码生成
图文生产视频
......

ChatGPT

ChatGPT 基于 GPT 3.5，目前的知识库还是 2022 年 1 月份之前的数据。

GPT 模型发展介绍

2018年，GPT的提出，可称之为 NLP 的一个跨越式的发展。它提出了自然语言的一种新的训练范式。即可以通过海量的数据的「无监督学习」来训练一个语言模型。
2019年，GPT-2
2020年，GPT-3
2022年，GPT-3.5
OpenAI 公司推出的 ChatGPT 与以往的公开提供服务的对话机器人相比，性能有了显著的提高。它可以相对可靠地提供一些日常对话、知识获取的功能，也可以它根据人类提供的需求帮忙写文档、写代码，甚至可以修改文本中的各类错误或者代码中的Bug。ChatGPT 是 Transformer 和 GPT 等相关技术发展的集大成者。

ChatGPT 性能卓越的主要原因可以概括为三点：

使用的机器学习模型表达能力强。
训练所使用的数据量巨大。
训练方法的先进性。
打辅助
- 帮写邮件
- 文章回答
- 生产代码/技术选型
- ......

百度文心大模型

百度的「文心一言」已于 2023 年 3 月份完成内测，对公众开放。「文心大模型」包含了基础通用大模型，以及面向重点领域和重点任务的大模型。

文心 ERNIE 3.0 文心大模型
创作歌词体验 https://wenxin.baidu.com/wenxin/pc/lyric
AIGC-TTV (Text to Video)
- 在线体验：百度智能云一念

创意应用

文心一格文心一格 - AI艺术和创意辅助平台
晓晓写高考作文
文心大模型补全《富春山居图》
文心 PLATO
- 人机对话主要包括任务对话、问答对话、开放域对话 3 种
- 开放域对话：在开放场景中进行拟人的对话，要求人设、人格、情感、观点等维度的一致性；以多轮对话有趣、拟人为目标
  - 百度智能音箱，小度智能屏等