什么是主动学习(Active Learning)?定义,原理,以及主要方法

数据是训练任何机器学习模型的关键。但是,对于研究人工智能的企业和团队而言,数据仍是实现成功的最大障碍之一。首先,您需要大量数据来创建高性能模型。更重要的是,您需要标注准确的数据。虽然许多团队一开始都是手动标注数据集,但更多团队已逐渐实现数据标注的部分自动化,比如采用主动学习方法(Active Learning),以提高效率。

如果想要了解主动学习,您首先需要了解监督机器学习和无监督机器学习之间的区别。监督学习认为,我们需要为机器提供标注正确的数据,让机器从这些示例中学习如何正确标注数据。无监督学习则认为,要为机器提供未标注的、混乱的数据。机器可以自主识别数据的模式和结构。每种方法各有千秋;本文主要讨论主动学习所属的监督学习范畴。

主动学习方法

主动学习属于我们所说的“半监督学习”。完全监督学习方法会为模型提供完整的标注数据集,而半监督主动学习方法则仅为模型提供数据集的标注子集,认为在训练过程中,并非所有数据都是必需的、有价值的。主动学习过程涉及数据集中哪些数据需要优先标注。从本质上讲,模型可以主动选择想要学习的数据。

工作原理

在主动学习中,有三种典型场景。知名度最高的一种场景称为基于池的采样(Pool-based Sampling),它遵循以下五个步骤:

  1. 人员(在此过程中称为Oracle)标注数据集的一小部分,并将标注数据提供给模型。
  2. 模型(称为主动学习者)处理这些数据,并以一定的置信度预测未标注数据点的类别。
  3. 假设初始预测低于所需精度和置信度,则会使用采样技术确定下一个需要标注的数据子集。
  4. 人员标注选定的数据子集并将标注的数据子集发送回模型进行处理。
  5. 该过程将继续,直至模型的预测达到所需的置信度和精度水平。

另一个主动学习场景即基于流的选择采样(Stream-based Selective Sampling)。在此场景中,模型会接收到一个未标注的数据点,并且必须立即决定是否要标注该数据点。

在主动学习的第三种方法——成员查询合成(Membership Query Synthesis)场景中,模型构建自身的标注示例。

主动学习的采样方法

采样方法,也称为查询策略,是主动学习方法成功的关键。不佳的采样方法会导致不良的模型预测,从而在主动学习周期中进行更多的迭代。两种最常见的采样方法即不确定性采样(Uncertainty Sampling)和委员会投票选择(Query-By-Committee)。

不确定性采样 Uncertainty Sampling

顾名思义,不确定性采样优先标注模型最不确定的数据点。不确定性采样运用以下几种技术:

  • 最低置信度:该算法可以将预测从最低置信度到最高置信度排序。选择标注那些置信度最低的数据。
  • 最小分类间隔:算法会比较各数据点的最高概率类预测和次高概率类预测。优先标注分类间隔最紧密的数据点,因为模型最不确定这些数据的类别。
  • 熵方法:机器会通过一个方程确定类别预测中具有最高不确定性(也称为熵)的数据点。这些数据点会被优先标注。
委员会投票选择 Query-By-Committee

该方法使用多个基于同一数据集进行训练的模型,共同确定需要标注的其他数据点。模型间分歧最大的地方是要选择标注哪些数据点。

其他常见的采样方法还有预期影响和密度加权,尽管这些方法的使用频率不比上述几种方法。在任何情况下,所使用的采样方法都是影响模型达到标准性能之速度的重要决定因素。

您需要试验多种不同的方法,以达到最佳性能,因为没有一种方法对每个用例都最为有效。

何时选择主动学习方法

对一些组织而言,手动标注完整的数据集(如在监督学习方法下)需要花费高额成本和时间,这就是为什么一些团队正在转向半监督和无监督ML方法。在以下部分或所有情况下,最好采用主动学习方法:

  • AI解决方案需要迅速进入市场,并且手动标注数据可能会对项目构成风险。
  • 没有足够的资金聘请数据科学家或SME手动标注所有数据。
  • 没有足够的人员手动标注所有数据。
  • 具有大量未标注的数据。

与传统的监督学习相比,主动学习的成本更低,速度更快,但您仍需考虑构建有效模型所需的计算成本和迭代。如果操作正确,主动学习方法所构建的模型能够达到与传统方法所构建的模型同等的质量和精度。

对数据科学团队而言,主动学习技术起着关键作用。因为所选择的采样方法可以决定主动学习方法的整体有效性。在某些情况下,您可以寻求外援;例如,和第三方数据供应商建立合作伙伴关系,创建高效的主动学习流程。

AI主动学习的未来

主动学习是AI的未来吗?目前来看,主动学习方法可以代替完全监督学习方法。另外,主动学习方法可以用于超大型数据集,协助数据科学团队更智能、更高效地标注数据。数据是卓越AI的重要基础,但如果操作不当,数据也会成为AI的最大障碍。因此,高效的主动学习方法在当下备受青睐。

研究人员正在努力设计主动学习采样方法,以不断改进先前方法,并希望我们能够推广那些表现最好的方法。虽然还需要进一步研究(例如,仍然难以提前确定主动学习方法是否适用于某一特定数据集),但主动学习仍是人机协同过程中的有效方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/276449.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringCloud系列(七)| 集成Nacos配置中心

1、关于配置中心 在说配置中心之前,我们先说说配置文件,关于这个词,我想大家并不陌生。 不管是前端,后端或是其他的各类技术栈,应该都离不来配置文件。我们在早期的代码开发时代,就经常和配置文件打交道&a…

数据结构和算法-图的基本概念及邻接矩阵法和邻接表法和十字链表法和链表链表法

文章目录 图的概念总览图的定义图逻辑结构的应用无向图和有向图简单图和多重图顶点的度,入读,出度顶点-顶点的关系描述连通图,强连通图研究图的局部-子图无向图有向图 连通分量强连通分量生成树生成森林边的权,带权图/网几种特殊形…

设计模式详解---抽象工厂模式

继续前言,工厂模式中抽象工厂模式的讲解: 1. 前面的工厂模式有啥问题? 前面的工厂模式有这么个问题:一个产品就给了一个工厂,这样子如果产品变多,系统就会很复杂: 2. 解决方法 我们可以按照手…

web网络安全

web安全 一,xss 跨站脚本攻击(全称Cross Site Scripting,为和CSS(层叠样式表)区分,简称为XSS)是指恶意攻击者在Web页面中插入恶意javascript代码(也可能包含html代码),当用户浏览网页之时&…

基于扩散的图像超分辨率模型:ResShift

1 论文解读 论文地址:ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting 代码地址:https://github.com/zsyOAOA/ResShift 1.1 前言 基于扩散的图像超分辨率(SR)方法由于需要数百甚至数千个采样步骤,…

ShardingSphere数据分片之读写分离

1、概述 读写分离是一种常见的数据库架构,它将数据库分为主从库,一个主库(Master)用于写数据,多个从库(Slave)进行轮询读取数据的过程。主从库之间通过某种通讯机制进行数据的同步。 所以&…

【C语言】二分查找(详解)

🎥 岁月失语唯石能言的个人主页 🔥个人栏专:秒懂C语言 ⭐若在许我少年时,一两黄金一两风 一、二分查找的思路 二分查找是一种高效的查找算法,尤其适用于有序数组。它的基本思想是通过将查找区间逐步缩小…

企业打造高产出的新媒体运营团队的步骤有哪些?

企业在搭建新媒体矩阵的过程中,第一步是确定平台,第二步就是组建一个运营团队。 但组建一个高质量的运营团队并非容易的事情,很多企业可能都不知道: 不同规模的企业需要什么样的运营团队?运营团队中的不同岗位需要做哪…

【双十一特辑】爱心代码(程序员的浪漫)-李峋

前言 最近《点燃我温暖你》中李峋的爱心代码超级火,看着特别心动,这不,光棍节快到了,给兄弟们教学一波爱心代码,赶在双十一前表白,让这个双十一不在是孤单一个人! 目录 前言 C语言简易爱心代码…

FPGA - 1、Simulink HDL coder模型例化到FPGA

Simulink HDL coder模型例化到FPGA 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右…

YOLOv8原理深度解读,超级详细

整体架构 Backbone: Feature Extractor提取特征的网络,其作用就是提取图片中的信息,供后面的网络使用 Neck : 放在backbone和head之间的,是为了更好的利用backbone提取的特征,起着“特征融合”的作用。 Head&#xf…

ChatGPT对话为什么不用WebSocket而使用EventSource?

文章目录 1. 引言2. WebSocket和EventSource简介2.1 WebSocket2.2 EventSource 3. ChatGPT对话系统的特点4. EventSource的优势4.1 简单易用4.2 容错性强4.3 兼容性良好 5. 为何选择EventSource而非WebSocket?5.1 单向通信模式5.2 长轮询模式5.3 简化部署和维护 6. …