线性分类器---损失函数与优化算法

在这里插入图片描述

如何衡量分类器对当前样本的效果好坏?

需要损失函数

什么是损失函数?

损失函数搭建了模型性能与模型参数之间的桥梁,指导
模型参数优化。
损失函数是一个函数,用于度量给定分类器的预测值与真实值
的不一致程度,其输出通常是一个非负实值
 其输出的非负实值可以作为反馈信号来对分类器参数进行调整,
降低当前示例对应的损失值提升分类器的分类效果。
在这里插入图片描述

因为我们线性分类模型都是预测 多个不同类别

多类支撑向量机损失

在这里插入图片描述

  • 正确类别的得分比不正确类别高出1分,就没有损失
  • 否则,就会产生损失

在这里插入图片描述
对于鸟的损失
在这里插入图片描述
对于猫的损失
在这里插入图片描述
对于车的损失
在这里插入图片描述
在这里插入图片描述

正则项

在这里插入图片描述
L1 正则项
在这里插入图片描述
L2正则项
在这里插入图片描述
示例
在这里插入图片描述

优化算法目标

什么是参数优化?
参数优化是机器学习的核心步骤之一,它利用损失
函数的输出值作为反馈信号来调整分类器参数,以提升
分类器对训练样本的预测性能。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
 数值梯度: 近似, 慢, 易写
 解析梯度: 精确, 快, 易错

数值梯度有什么作用?
答:求梯度时一般使用解析梯度,而数值梯度主要用于解析梯度的正确性校验(梯度检查)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/223264.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

线性分类器--分类模型

记录学习 北京邮电大学计算机学院 鲁鹏 为什么从线性分类器开始?  形式简单、易于理解  通过层级结构(神经网络)或者高维映射(支撑向量机)可以 形成功能强大的非线性模型 什么是线性分类器? 线性分…

入侵redis之准备---VMware安装部署kail镜像服务器【详细包含云盘镜像】

入侵redis之准备—VMware安装部署kail镜像服务器【详细包含云盘镜像】 kail是一个很好玩的操作系统,不多说了哈 下载kail镜像 kail官网:https://www.kali.org/get-kali/#kali-platforms 百度云盘下载: 链接:https://pan.baidu.com/s/1PRjo…

什么是半监督学习

1 概述 1.1 定义 半监督学习(Semi-Supervised Learning)是机器学习中的一个重要分支,它介于监督学习和无监督学习之间。半监督学习利用少量标注数据和大量未标注数据共同训练模型,旨在充分挖掘未标注数据中潜在的信息和模式&…

还不懂缓存穿透?Redis缓存穿透深度剖析

🎈个人公众号:🎈 :✨✨✨ 可为编程✨ 🍟🍟 🔑个人信条:🔑 知足知不足 有为有不为 为与不为皆为可为🌵 🍉本篇简介:🍉本篇记录Redis缓存穿透深度剖析命令操作,…

【云备份】数据管理模块

文章目录 1. 数据管理模块要管理什么数据?2. 数据管理模块如何管理数据?3. 数据管理模块的具体实现BackupInfo 数据信息类NewBackupInfo —— 获取各项属性信息 DataManager 数据管理类构造函数析构函数insert —— 新增update —— 修改GetOneByURL——…

Portraiture2024最新Photoshop磨皮插件更新啦

Portraiture是一款由Imagenomic公司研发的Photoshop磨皮插件。该插件以其优秀的磨皮效果,成为了众多摄影师和化妆师使用的首选插件。Portraiture主要用于影楼、婚纱、时尚摄影等各个领域。其主要特点是能够轻松地模拟人眼的视觉感受,自然地修饰人像照片。…

netty(三) taskQueue自定义任务,http服务器快速入门,netty核心模块,Unpooled

如果执行某些业务比较复杂,比较耗时,可以使用异步来完成 当然可以有多个任务 上面的结果是,在第一个任务处理完,再等20秒执行,简单来说,就是第一个在10秒执行,第二个在第30秒的时候执行&#…

Linux:通过VMWare,定制化Linux系统

一、原理图 二、新增磁盘(对应上图sdb盘) 三、挂载磁盘 主要是四步:查看磁盘,分区磁盘,格式化磁盘,挂载磁盘 1、查看磁盘 2、分区磁盘 3、格式化磁盘 4、挂载磁盘 创建两个备用目录,用于磁盘…

Qt_一个由单例引发的崩溃

Qt_一个由单例引发的崩溃 文章目录 Qt_一个由单例引发的崩溃摘要关于 Q_GLOBAL_STATIC代码测试布局管理器源码分析Demo 验证关于布局管理器析构Qt 类声明周期探索更新代码获取父类分析Qt 单例宏源码 关键字: Qt、 Q_GLOBAL_STATIC、 单例、 UI、 崩溃 摘要 今…

网页设计--第5次课后作业

1、快速学习JavaScript的基本知识第11-14章 JavaScript入门 - 绿叶学习网 2、使用所学的知识完成以下练习。 1)点击 “点亮”按钮 点亮灯泡,点击“熄灭”按钮 熄灭灯泡 2)输入框鼠标聚焦后,展示小写;鼠标离焦后…

【Java】实现一个自己的线程池

上文中我们讲了线程池的简单使用,这里我们来讲一下如何简单实现一个自己的线程池 本文实现这个线程池所达到的效果是:用户给出线程数目,程序根据用户给出的数创建固定数目的线程 1、框架 首先写定义一个线程池类 class MyThreadPool{}pub…

振南技术干货集:znFAT 硬刚日本的 FATFS 历险记(4)

注解目录 1、znFAT 的起源 1.1 源于论坛 (那是一个论坛文化兴盛的年代。网友 DIY SDMP3 播放器激起了我的兴趣。) 1.2 硬盘 MP3 推了我一把 (“坤哥”的硬盘 MP3 播放器,让我深陷 FAT 文件系统不能自拔。) 1.3 我…