机器学习(1)机器学习类型和机器学习的主要概念

0.前提

深度学习(Deep Learing)是机器学习(Machine Learning)领域中的一个新的研究方向,在如今的时代研究深度学习的大模型是十分热门的。我不知道有多少人有关注到最近openai的事件啊,说个比较让我惊讶的事情,一直在支持我做一些实验的老师今年在ICCV的A区发文章,直接给我看傻了,平常经常看到老师骑着电车在学校里面跑。既然深度学习是机器学习的一个子集,那想要入门深度学习,学习机器学习那就很有必要了。这篇文章也是为了在未来更好的解剖了解我的智能小车。

1.机器学习的类型

机器学习包含监督学习、无监督学习、强化学习等。

1.监督学习

·监督学习是指利用有标签数据进行训练从而得到预测模型的学习任务。换句话说就是训练的数据有标签,输入数据x预测y。

·监督学习算法主要分两类:离散的,那就是分类算法(classification);连续的,那就是回归算法(regression)。

1.分类算法

分类指基于预测模型,推理出离散的的输出值:0或1。

2.回归算法

回归指基于预测模型对未知的输出值推测出一个连续值得结果。

2.无监督学习

·无监督学习里的数据只有输入属性,没有标签。

·无监督学习算法是基于一种“物以类聚”的思想:聚类算法和关联算法

1.聚类

聚类指将对象分组聚类。

2.关联

关联指数据库中找联系。

3.强化学习

强化学习用于描述和解决智能体在环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。这有点类似下棋时的博弈论。

2.机器学习的主要概念

机学习的方法由模型、损失函数、优化算法、模型评估指标等几个要素构成。

1.模型

机器学习要先考虑使用的模型。模型类别大致分为概率模型和非概率模型。

1.概率模型

·在监督学习中:概率模型表示为P(y|x)。x是输入,y是输出。

·在无监督学习中:概率模型表示为P(z|x)。x是输入,z是输出。

·决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型

2.非概率模型

·在监督学习中:非概率模型表示为y=f(x)。x是输入,y是输出。

·在非监督学习中:非概率模型表示为z=f(x)。x是输入,z是输出。

·感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概率模型

非概率模型又可按函数线性性分为线性模型和非线性模型。

线性模型
感知机、线性支持向量机、KNN、K-means是线性模型。
非线性模型
核支持向量机、AdaBoost、神经网络属于非线性模型。

2.损失函数

在机器学习中常见的损失函数有4种。有没有很熟悉的感觉?

损失函数数值越小,模型性能越好。平均损失被称为经验风险。经验风险最小化,得出全局损失函数最优解问题:

_{f}^{min}\textrm{}\frac{1}{N}\sum_{n=1}^{N}L(y_{a},f(x_{n}))

当样本数量够大时,根据大数定理(既伯努利大数定理,当进行大量实验时,事件的频率趋近于概率),经验风险会近似于模型的期待风险,此时经验风险最小化,有较好的学习效果。但当样本数量不够时,利用经验风险最小化就会“过拟合”,在原基础上加入控制模型复杂度的正则项:

_{f}^{min}\textrm{}\frac{1}{N}\sum_{n=1}^{N}L(y_{a},f(x_{n}))+\lambda J (f)

J(f)表示对模型复杂度的惩罚。模型越复杂,J(f)越大;模型越简单,J(f)越小。\lambda是正则化系数,是正常数,用于平衡经验风险和模型复杂度。结构风险小的模型在经验风险和模型复杂度都小时,训练数据和测试数据有较好的拟合。

3.优化算法

算法指模型学习中的具体计算方法。基于参数模型参数模型构建的我统计学习问题为最优化问题,有显式的解析解。优化方法有梯度下降法、牛顿法、拟牛顿法、ADAM等。

4.模型评估

损失函数给定,基于模型训练数据的误差和测试数据的误差作为模型评估的标准。

测试误差的具体定义:E_{test}=\frac{1}{N'}\sum_{n=1}^{N'}L(y_{n},\widehat{f}(x_{n}))

N'为测试数据数量,L(y_{n},\widehat{f}(x_{n}))是损失函数,y_{n}代表真实标签,\widehat{f}(x_{n})代表预测标签。若模型学习的效果好,训练误差和测试误差接近一致。

3.机器学习的学习基础

1.高数-导数

高数课本中对导数的定义:设函数y=f(x)在点x_{0}的某个领域内有定义,当自变量xx_{0}处取得增量\Delta x(点x_{0}+\Delta x仍在该领域内)时,相应地,因变量取得增量\Delta y=f(x_{0}+\Delta x)-f(x_{0});如果\Delta y\Delta x之比当\Delta x\rightarrow0时的极限存在,那函数y=f(x)x_{0}处可导,称该极限为函数y=f(x)x_{0}处的导数——f'(x_{0})=_{\Delta x\rightarrow 0}^{lim}\frac{\Delta y}{\Delta x}=_{\Delta x}^{lim}\frac{f(x_{0}+\Delta x)-f(x_{0})}{\Delta x}

以下就是我之前学高数时做的笔记记录的导数的运算公式:

2.高数-泰勒公式

3.线代-行列式 

4.线代-矩阵 

5.线代-求导 

线代的求导在我翻看了我的所有线代笔记资料后,发现大学课堂上是不讲线代求导的,那这里我就放出非本人笔记的内容了:

6.概率与数理 -随机事件与概率

我是大二上半学期学的概率与数理,我印象比较深刻的就是在12月分初的时候因为疫情提前放假了,所有的考试都推迟到了下半学期进行,下半学期开学几周内我要考十几门试(别问我为什么不在家复习!我不觉得有多少人有毅力在家复习,更何况当时大家阳着。),我差点die。

7.概率与数理-古典概型与几何概型 

8.概率与数理-条件概率 

9.概率与数理-全概率

 10.概率与数理-各种分布

 10.概率与数理-期望与方差

在这一章笔记里我自己记的笔记比较乱,只有我自己才能看得懂,我就不放出来了。我换个东西放出来。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/221680.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

系列十八、Spring bean线程安全问题

一、概述 我们知道Spring中的bean,默认情况下是单例的,那么Spring中的bean是线程安全的吗?这个需要分情况考虑,bean中是否存在成员变量?bean中的成员变量是怎么处理的?...,针对bean的状态会有不…

FaceChain集成最强开源SDXL,生成人像质感拉满!

一、介绍 FaceChain,一款备受欢迎的AI写真开源项目,目前已与最强大的开源生图模型SDXL完美融合!这将为用户带来前所未有的高质量AI写真体验。 FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获…

vue.js如何根据后台返回来的图片url进行图片下载

原创/朱季谦 最近在做一个前端vue.js对接的功能模块时,需要实现一个下载图片的功能,后台返回来的是一串图片url,试了很多种方法,发现点击下载时出来的效果,都是跳到一个新的图片网页,后来经过一番琢磨&…

『Linux升级路』基础开发工具——make/Makefile

🔥博客主页:小王又困了 📚系列专栏:Linux 🌟人之为学,不日近则日退 ❤️感谢大家点赞👍收藏⭐评论✍️ 目录 一、认识make/Makefile 📒1.1make/Makefile的优点 📒…

基于C#实现鸡尾酒排序(双向冒泡排序)

通俗易懂点的话,就叫“双向冒泡排序”。 冒泡是一个单向的从小到大或者从大到小的交换排序,而鸡尾酒排序是双向的,从一端进行从小到大排序,从另一端进行从大到小排序。 从图中可以看到,第一次正向比较,我们…

交流回馈负载的主要工作方式

交流回馈负载是一种电力电子装置,其主要工作方式是将电能从交流电源转换为直流电,然后再将直流电转换为交流电。这种转换过程是可逆的,因此可以用于调节电网的电压和频率,提高能源利用效率,减少能源浪费。 交流回馈负载…

浅谈智能照明控制系统在建筑电气工程中的应用

贾丽丽 安科瑞电气股份有限公司 上海嘉定 201801 摘要:建筑电气工程是项目工程中的重要组成部分,其对技术、电气设备及系统的要求较高。在信息化技术不断深入推广的新时期,建筑电气工程中的照明系统获得新的发展契机,为了满足现…

制造业工厂如何选择生产管理MES系统?

一、技术架构 虽然绝大多数的用户不会关心MES设计的技术架构,但如果是好的MES系统,需首先必须具备先进的技术支撑,只有先进的开发平台配合上可配置的模块模组,才可快速构建出符合不同用户场景的业务功能。 试想一下:在…

Portraiture4.1.2最新汉化免费版磨皮插件

关于PS修图插件,相信大家都有安装过使用过,而且还不止安装了一款,比如最为经典的DR5.0人像精修插件,Retouch4me11合1插件,Portraiture磨皮插件,这些都是人像精修插件中的领跑者。 其中 Portraiture 刚刚升…

Nginx常见的中间件漏洞

目录 1、Nginx文件名逻辑漏洞 2、Nginx解析漏洞 3、Nginx越权读取缓存漏洞 这里需要的漏洞环境可以看:Nginx 配置错误导致的漏洞-CSDN博客 1、Nginx文件名逻辑漏洞 该漏洞利用条件有两个: Nginx 0.8.41 ~ 1.4.3 / 1.5.0 ~ 1.5.7 php-fpm.conf中的s…

探索深度学习:从理论到实践的全面指南

探索深度学习:从理论到实践的全面指南 摘要: 本文旨在提供一个关于深度学习的全面指南,带领读者从理论基础到实践应用全方位了解这一技术。我们将介绍深度学习的历史、基本原理、常用算法和应用场景,并通过Python代码示例和Tens…