【机器学习 | 假设检验】那些经常被忽视但重要无比的假设检验!! 确定不来看看?(附详细案例)

在这里插入图片描述

🤵‍♂️ 个人主页: @AI_magician
📡主页地址: 作者简介:CSDN内容合伙人,全栈领域优质创作者。
👨‍💻景愿:旨在于能和更多的热爱计算机的伙伴一起成长!!🐱‍🏍
🙋‍♂️声明:本人目前大学就读于大二,研究兴趣方向人工智能&硬件(虽然硬件还没开始玩,但一直很感兴趣!希望大佬带带)

在这里插入图片描述

【深度学习 | 核心概念】那些深度学习路上必经的核心概念,确定不来看看? (一)
作者: 计算机魔术师
版本: 1.0 ( 2023.8.27 )

摘要: 本系列旨在普及那些深度学习路上必经的核心概念,文章内容都是博主用心学习收集所写,欢迎大家三联支持!本系列会一直更新,核心概念系列会一直更新!欢迎大家订阅

该文章收录专栏
[✨— 《深入解析机器学习:从原理到应用的全面指南》 —✨]

@toc

置信区间最佳实践

在统计学和数据分析中,置信区间是一种用于估计参数真实值范围的方法。它提供了一个范围,该范围内有一定的置信度包含了参数的真实值。置信区间的计算通常基于样本数据,并依赖于统计理论和假设。

以下是一般情况下计算置信区间的步骤:

  1. 收集样本数据:首先,需要从总体中收集足够的样本数据。样本应该是随机选择的,并且能够代表总体。

  2. 选择置信水平:确定所需的置信水平,通常以百分比的形式表示,例如95%或99%。置信水平表示在重复抽样的情况下,置信区间将包含参数真实值的比例

  3. 选择合适的分布和统计方法:根据问题的性质和样本数据的特征,选择适当的分布和统计方法。常见的情况是使用正态分布或t分布。

  4. 计算置信区间:使用选择的分布和统计方法,根据样本数据计算置信区间。具体计算的方法因问题而异,但通常基于估计的标准误差和分布的百分位数

  5. 解释结果:将计算得到的置信区间解释给使用者。例如,可以说“根据我们的样本数据,以95%的置信水平,我们估计参数的真实值在置信区间[下界,上界]之间。”

需要注意的是,置信区间是对参数真实值的估计,不是参数的确切值。置信区间给出了一个范围,我们可以合理地认为参数的真实值位于其中,但并不能确定具体的取值。

计算置信区间的方法有很多种,具体的计算步骤和公式可能因问题类型、样本分布和统计方法的选择而有所不同。在实际应用中,通常会使用统计软件或编程语言来计算置信区间,以确保准确性和效率。

当你有少量数据时,可以使用 t 分布来计算置信区间。假设你想要估计某个总体的均值,并且你有一个包含 n 个观测值的样本。以下是一个简单的例子,演示如何计算均值的置信区间。

假设你想要估计一家快餐连锁店每日销售额的均值,你随机选择了10天的销售数据作为样本。这些数据分别是:1200, 1300, 1100, 1400, 1500, 1300, 1600, 1700, 1200, 1400。

步骤:

  1. 计算样本均值:将这些观测值相加,然后除以样本的大小 (n)。在这个例子中,观测值的总和是:1200 + 1300 + 1100 + 1400 + 1500 + 1300 + 1600 + 1700 + 1200 + 1400 = 14,800。样本的大小是10。所以样本均值为:14,800 / 10 = 1480。

  2. 计算样本标准差:计算这些观测值的标准差,用于估计总体的标准差。在这个例子中,可以使用样本标准差来估计总体标准差。样本标准差的计算方式可以参考以下公式:

    σ = ∑ ( x i − x ˉ ) 2 n − 1 \sigma = \sqrt{\frac{\sum{(x_i - \bar{x})^2}}{n-1}} σ=n1(xixˉ)2

    其中, x i x_i xi 表示观测值, x ˉ \bar{x} xˉ 表示样本均值, n n n 表示样本的大小。计算得到样本标准差为: σ = 247.487 \sigma = 247.487 σ=247.487

  3. 计算置信区间:选择置信水平。假设我们选择95%的置信水平,这意味着我们希望置信区间有95%的概率包含参数的真实值。

    使用 t 分布,需要确定自由度。自由度为 n − 1 n - 1 n1,其中 n n n 是样本的大小。在这个例子中,自由度为 10 − 1 = 9 10 - 1 = 9 101=9

    根据 t 分布表或统计软件,找到与所选择的置信水平和自由度相对应的 t 值。对于95%的置信水平和9个自由度,t 值为 2.262。

    置信区间的计算公式为:置信区间 = 样本均值 ± (t 值 * 标准误差)。(如果分布,则根据分布百分比)

    标准误差的计算公式为:标准误差 = 样本标准差 / √n

    在这个例子中,标准误差 = 247.487 / √10 ≈ 78.27。

    因此,置信区间 = 1480 ± (2.262 * 78.27)。计算得到置信区间为 [1332.24, 1627.76]。

解释结果:根据我们的样本数据,以95%的置信水平,我们估计每日销售额的均值在1332.24到1627.76之间。

请注意,这个例子仅用于演示如何计算置信区间,实际数据分析中可能需要考虑更多的因素和技术。

独立同分布概念

独立同分布(independent and identically distributed,简称i.i.d.)是概率统计学中的一个重要概念。

独立(independent)指的是随机变量之间的关系,即一个随机变量的取值不受其他随机变量的取值影响。换句话说,给定一个随机变量的取值,不能提供有关其他随机变量取值的任何信息。例如,抛一枚硬币两次,第一次出现正面和第二次出现正面这两个事件是独立的,因为第一次出现正面的结果不会影响第二次出现正面的概率。

同分布(identically distributed)指的是多个随机变量具有相同的概率分布。换句话说,多个随机变量的取值遵循相同的概率规律。例如,从同一批产品中随机选取多个产品的重量,这些随机变量的取值遵循相同的概率分布。

因此,独立同分布(i.i.d.)的含义是指多个随机变量之间相互独立且具有相同的概率分布。在统计学和机器学习中,独立同分布假设常常被用来简化问题和建立模型。它是许多概率模型和统计推断方法的基础假设之一,使得问题可以更容易地建模和求解。

P-value假设检验

在统计学中,p-value中的"P"代表"probability",即概率。p-value表示观察到的样本数据或更极端情况出现的概率。

在假设检验中,p-value是用于衡量观察到的样本数据对于原假设的支持程度的指标。它表示在原假设为真的情况下,观察到的样本数据或更极端情况出现的概率。

假设检验的一般步骤如下:

  1. 建立原假设(H0)和备择假设(H1)。
  2. 选择适当的统计量,根据样本数据计算统计量的观察值。
  3. 基于原假设,确定统计量在原假设下的分布。
  4. 计算p-value,即在原假设为真的情况下,观察到的统计量值或更极端情况出现的概率。
  5. 根据p-value与事先设定的显著性水平进行比较。
    • 如果p-value小于显著性水平(通常为0.05),则拒绝原假设,认为观察到的数据提供了足够的证据支持备择假设。
    • 如果p-value大于等于显著性水平,则无法拒绝原假设,认为观察到的数据不足以提供足够的证据支持备择假设。

p-value的计算方法与具体的假设检验方法和统计量有关。对于一些常见的假设检验方法,例如t检验和F检验,p-value可以通过查表或使用概率分布函数来计算。对于更复杂的假设检验方法,可能需要使用模拟方法(如蒙特卡洛模拟)或基于抽样分布的方法来估计p-value。

需要注意的是,p-value并不提供关于备择假设的真实性或效应大小的信息。它仅仅是一种衡量观察到数据与原假设的一致性的指标。因此,在解释p-value时,应该谨慎考虑其他因素,如实际背景知识、样本大小和效应大小等。

显著性水平(0.05)

显著性水平通常被设定为0.05(或5%)的原因是出于统计学上的传统和惯例。在假设检验中,显著性水平表示在原假设为真的情况下,我们拒绝原假设的错误概率。换句话说,它是我们犯第一类错误(拒绝一个实际上为真的假设)的概率。

将显著性水平设置为0.05有以下几个原因:

  1. 常用的标准:0.05的显著性水平是在许多学科和领域中被广泛接受的标准,包括经济学、社会科学、医学研究等。这种一致性有助于结果的可比性和解释的一致性。

  2. 平衡类型I和类型II错误:在假设检验中,存在两种类型的错误,即类型I错误(拒绝一个实际上为真的假设)和类型II错误(接受一个实际上为假的假设)。将显著性水平设置为0.05可以在一定程度上平衡这两种错误的风险。

  3. 统计学的权衡:选择显著性水平时需要进行统计学权衡。较低的显著性水平(例如0.01)可以降低犯类型I错误的概率,但可能增加类型II错误的概率。相反,较高的显著性水平(例如0.10)可以增加类型I错误的概率,但可能降低类型II错误的概率。0.05的显著性水平在权衡这两种错误之间提供了一种较为平衡的选择。

需要注意的是,显著性水平的选择并不是绝对的,而是依赖于具体的研究领域、问题的重要性以及研究者自身的偏好。在某些情况下,可能会选择更为保守或更为宽松的显著性水平。

将显著性水平设置为0.05是出于统计学的传统和平衡类型I和类型II错误的考虑。然而,根据具体的研究需求和背景,研究者可以根据自己的判断和需要选择不同的显著性水平。

在这里插入图片描述

						  🤞到这里,如果还有什么疑问🤞🎩欢迎私信博主问题哦,博主会尽自己能力为你解答疑惑的!🎩🥳如果对你有帮助,你的赞是对博主最大的支持!!🥳

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/190296.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PCL 半径滤波剔除噪点(二)

目录 一、算法原理二、注意事项三、代码实现一、算法原理 PCL半径滤波是删除在输入的点云一定范围内没有达到足够多领域的所有数据点。通俗的讲:就是以一个点p给定一个范围r,领域点要求的个数为m,r若在这个点的r范围内部的个数大于m则保留,小于m则删除。因此,使用该算法时…

PS学习笔记——初识PS界面

文章目录 PS界面 PS界面 我使用的是PS2021,可能不同版本界面有所不同,但大体来说没有太多差异 可以看到下面这个图就是ps的主界面,大体分为菜单栏、选项栏、工具栏、面板、以及最中央的工作区。 ps中的操作基本都能在菜单栏中找到 可以从菜…

融合语言模型中的拓扑上下文和逻辑规则实现知识图谱补全11.18

融合语言模型中的拓扑上下文和逻辑规则实现知识图谱补全 摘要1 引言2 相关工作2.1 事实嵌入法2.2 拓扑嵌入方法2.3 规则融合方法2.4 基于LM的方法 3 准备3.1 知识图谱和拓扑上下文3.2 KG中的逻辑规则4.3 三元组嵌入 5 实验和结果5.1 数据集和评价指标 摘要 知识图补全&#xf…

「Verilog学习笔记」使用3-8译码器①实现逻辑函数

专栏前言 本专栏的内容主要是记录本人学习Verilog过程中的一些知识点,刷题网站用的是牛客网 timescale 1ns/1nsmodule decoder_38(input E1_n ,input E2_n ,input E3 ,input A0 ,input A1…

机器人走迷宫问题

题目 1.房间有XY的方格组成,例如下图为64的大小。每一个方格以坐标(x,y) 描述。 2.机器人固定从方格(0, 0)出发,只能向东或者向北前进,出口固定为房间的最东北角,如下图的 方格(5,3)。用例保证机器人可以从入口走到出口。 3.房间…

ROS 学习应用篇(九)ROS中launch文件的实现

launch文件就好比一个封装好的命令库,我们按照在终端中输入的代码指令,全部按照launch语言格式封装在一个launch文件中,这样以后执行的时候,就可以不用开很多终端,一条一条输入代码指令。 lauch文件的语言风格很想我之…

⑩③【MySQL】详解SQL优化

个人简介:Java领域新星创作者;阿里云技术博主、星级博主、专家博主;正在Java学习的路上摸爬滚打,记录学习的过程~ 个人主页:.29.的博客 学习社区:进去逛一逛~ SQL优化 ⑩③【MySQL】了解并掌握SQL优化1. 插…

美团外卖18元神券节红包优惠券怎么抢?

美团外卖红包天天免费领取活动规则 1、每月18日可领美团外卖18元神券节红包优惠券; 2、每月15、16、17日可领美团外卖神券节预热12元红包优惠券; 3、每周星期一、星期三可领美团外卖节9元红包优惠券; 4、每天可领美团外卖天天神券3-7元美…

TikTok与媒体素养:如何辨别虚假信息?

在当今数字时代,社交媒体平台如TikTok已经成为信息传播和社交互动的主要渠道之一。然而,随之而来的是虚假信息的泛滥,这对用户的媒体素养提出了严峻的挑战。本文将探讨TikTok平台上虚假信息的现象,以及如何提高媒体素养&#xff0…

初刷leetcode题目(1)——数据结构与算法

😶‍🌫️😶‍🌫️😶‍🌫️😶‍🌫️Take your time ! 😶‍🌫️😶‍🌫️😶‍🌫️😶‍🌫️…

专攻数学的Prompt:使GPT-3解数学题准确率升至92.5%

专攻数学的Prompt:使GPT-3解数学题准确率升至92.5% 写在最前面示例(试过了,难点的和普通输出差不多;只能说,比简单的题目输出内容更丰富一些)MathPrompter解题示例 机理MathPrompter是怎么工作的&#xff0…

【MATLAB源码-第82期】基于matlab的OFDM系统载波频移偏差(CFO)估计,对比三种不同的方法。

操作环境: MATLAB 2013b 1、算法描述 正交频分复用(OFDM)系统中的载波频率偏移(CFO)估计是一项关键技术,用于确保数据传输的准确性和效率。CFO通常由于振荡器频率不匹配和多普勒频移引起。不同的CFO估计…