论文阅读 BERT GPT - transformer在NLP领域的延伸-编程知识

论文阅读 BERT GPT - transformer在NLP领域的延伸

news/2025/1/20 5:50:08/文章来源:https://blog.csdn.net/highoooo/article/details/135487425

文章目录

不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展
1 摘要
- 1.1 BERT - 核心
- 1.2 GPT - 核心
2 模型架构
- 2.1 概览
3 区别
- 3.1 finetune和prompt
3.2 transformer及训练
总结

不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展

1 摘要

1.1 BERT - 核心

双向编码器 加上mask做完形填空超大模型无监督预训练需要整个模型作为pretrain weight到下游任务做fintune

1.2 GPT - 核心

自回归解码器 无需训练只需Prompt

2 模型架构

2.1 概览

在这里插入图片描述

3 区别

3.1 finetune和prompt

BERT需要全部参数进行训练
GPT不需要训练即可完成下游任务
在这里插入图片描述

3.2 transformer及训练

BERT使用双向的编码器
在这里插入图片描述

GPT使用自回归的解码器
在这里插入图片描述

总结

总结个毛

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/337255.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

寒武纪显卡实现softmax算子

寒武纪显卡实现softmax基本逻辑寒武纪实现softmax包括下面5个步骤，我们也采取5个kernel来实现softmax： unionMaxKernel(float* middle, float* source1, int num)，这个kernel使用的任务类型是union1，其中middle的长度为taskDim&…

【mysql】—— 用户管理

目录 （一）为什么要有用户管理？ （二）用户 2.1 查看用户信息 2.2 创建用户 2.3 删除用户 2.4 修改用户密码 （三）数据库的权限 3.1 给用户授权 3.2 回收权限 （一）为…

查看服务器的yum 源

1、cd /etc/yum.repos.d 2、编辑 CentOS-Stream-Sources.repo 3、查看里面的yum源地址 4、更新yum源，执行下面指令 yum clean all # 清除系统所有的yum缓存 yum makeacache # 生成新的yum缓存 yum repolist

wind万得P0级故障回顾

万得信息技术股份有限公司（简称wind）是中国大陆领先的金融数据、信息和软件服务企业，总部位于上海陆家嘴金融中心。在国内市场，Wind的客户包括超过90%的中国证券公司、基金管理公司、保险公司、银行和投资公司等金融企业&#xff…

JAVA毕业设计118—基于Java+Springboot的宠物寄养管理系统(源代码+数据库)

毕设所有选题： https://blog.csdn.net/2303_76227485/article/details/131104075 基于JavaSpringboot的宠物寄养管理系统(源代码数据库)118 一、系统介绍本系统分为管理员、用户两种角色 1、用户： 登陆、注册、密码修改、宠物寄养、寄养订单、宠物…

$公司内部核心文件数据\资料防泄密软件系统，防止未经授权文件、文档、图纸、源代码、音视频...等数据资料外泄，自动智能透明加密保护！$