(五)AB测试及两个案例 学习简要笔记 #统计学 #CDA学习打卡

目录

一. AB测试简介

1)假设检验的一般步骤

2)基于假设检验的AB测试步骤

二. 案例1:使用基于均值的假设检验进行AB测试

1)原始数据

2)提出原假设H0和备择假设H1

3)使用均值之差的t检验,计算出t统计量的值和P值

4)进行假设检验

5)AA测试(简单随机抽样)

6)AA测试(分层抽样)

7)AA测试(系统抽样)

8)AB测试

三. 案例2:基于假设检验与A-B测试的支付宝点击率策略提升效果分析

1)原始数据

2)计算3组营销策略的点击率的平均值

3)假设检验进行判断


一. AB测试简介

AB测试(A/B test)是一种常用的实验设计方法,用于比较两个或多个不同的版本(例如产品、网页设计、广告等)在某个指标上的表现差异。而假设检验是AB测试的统计分析方法,用于判断这些差异是否具有统计学意义。

其实AB测试类似于初中生物说的对照试验。对用户分组,每个组使用一个方案(方案应遵从单变量前提),在相同的时间维度上去观察用户的反应(体现在业务数据和用户体验数据上)。需要注意的是各个用户群组的组成成分应当尽量相似,譬如新老用户很有可能表现出较大的偏好差异。最后根据假设检验的结果,判断哪些版本较之原版有统计意义上的差异,并根据效应量选出其中表现最好的版本。

1)假设检验的一般步骤

(a)提出原假设H0和备择假设H1
(b)用均值之差或者比例之差作为检验统计量Z检验或者t检验,并计算统计量及p值
(c)根据p值与显著性水平判断是否拒绝H0

2)基于假设检验的AB测试步骤

(a)H0假设:A组转化率等于B组转化率;H1假设:A组转化率不等于B组转化率
(b)用均值之差t检验或者比例之差z检验,并计算统计量及p值
(c)判断p值是否小于显著性水平0.05,判断是否拒绝H0

二. 案例1:使用基于均值的假设检验进行AB测试

1)原始数据

2)提出原假设H0和备择假设H1

H0:版本A和B在统计上存在显著差异
H2:版本A和B在统计上没有显著差异

3)使用均值之差的t检验,计算出t统计量的值和P值

4)进行假设检验

通常情况下我们在做AB测试前需要做AA测试,也就是从A里面通过不同的抽样方式选定一定样
本AA,再与A进行测试

5)AA测试(简单随机抽样)

6)AA测试(分层抽样)

7)AA测试(系统抽样)

8)AB测试

我们假设有两个版本A和B,通过生成正态分布的样本数据进行比较。然后计算两个样本的均值和标准差,并使用独立样本t检验进行假设检验。根据显著性水平alpha的设定,判断是否拒绝零假设,进而得出结论。

三. 案例2:基于假设检验与A-B测试的支付宝点击率策略提升效果分析

1)原始数据

2)计算3组营销策略的点击率的平均值

根据原始数据计算3营销策略的点击率如下:

我们可以得到:
对照组(dmp id=1)的点击率0.012551,
策略1组(dmp_id=2)的点击率0.015315
策略2组(dmp_id=2)的点击率0.026192

从点击率来看,策略一和策略二在对照组的基础上都有一定的提升。其中策略一提高了0.2个百分点,策略二提高了1.3个百分点,只有策略二满足了我们对点击率提升最小值1个百分点的要求。接下来需要进行假设验证,来看看策略二的点击率提升是否显著。

3)假设检验进行判断

记对照组点击率为p1,策略二点击率为p2,则:

(a)H0假设:p1>=p2策略2组点击率大于等于对照组点击率
    H1假设:p1<p2策略2组点击率小于对照组点击率

(b)计算A组和B组样本的转化率

(c)用转化率之差作为检验统计量z检验

(d)计算p值

(e)判断p值是否小于显著性水平0.05,判断是否拒绝H0

可以看到,p约等于0<0.05。所以拒绝原假设,认为策略2点击率的提升在统计上是显著的。两种营销策略中,策略二对广告点击率有显著提升效果,因而在两组营销策略中应选择第二组进行推广。

Bye!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/643622.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenTelemetry-2.Go接入Jaeger(grpc,gin-http)

目录 1.什么是OpenTelemetry 2.搭建jaeger 3.链路追踪 本地调用 远程调用 GRPC proto server端 client端 Gin-HTTP 调用流程 api1 api2 grpc 4.完整代码 1.什么是OpenTelemetry 参考&#xff1a;OpenTelemetry-1.介绍-CSDN博客 2.搭建jaeger 参考&#xff1a;…

在Jupyter notebook中添加虚拟环境

通常我们打开Jupyter notebook&#xff0c;创建一个新文件&#xff0c;只有一个Python3&#xff0c;但是我们也会想使用自己创建的虚拟环境&#xff0c;很简单仅需几部即可将自己的conda环境添加到jupyter notebook中。 1. 创建并激活conda环境&#xff08;已有可跳过&#xf…

JRebel热部署SpringBoot+MyBatis-Plus实现不重启更新修改后MyBatis的XML文件

安装JRebel热部署插件 《JRebel插件安装教程》 《JRebel mybatisPlus extension下载Zip离线安装》 在线安装JRebel mybatisPlus extension 插件商店直接搜JRebel mybatisPlus extension pom.xml 引入依赖 <dependency><groupId>com.baomidou</groupId>…

跟着野火从零开始手搓emWin(1)初识emWin

PS&#xff1a;在嵌入式领域&#xff0c;本人认为QT的应用范围和性能几乎吊打市面上所有的GUI工具。但是本人之所以学习emWin&#xff0c;是因为自己有些微不足道的小想法&#xff0c;需要通过它来实现。但是QT有点吃硬件的配置&#xff0c;为了MCU专门发行的QT我又懒得去弄&am…

施耐德 PLC 及模块 ModbusTCP 通信配置方法

1. 通过【I/O扫描器】服务进行读写 相关文档&#xff1a;各模块说明书仅 NOE 网卡模块、部分 CPU 自带的网口支持 优点&#xff1a;不需要额外编程&#xff0c;系统自动周期型读写数据缺点&#xff1a;扫描周期不定&#xff0c;程序无法控制数据刷新的时序 2. 通过内部程序…

sklearn【AUC-ROC】原理,以及绘制ROC曲线!

一、AUC-ROC 介绍 在分类任务中&#xff0c;特别是当数据集中的类别分布不平衡时&#xff0c;评估模型的性能变得尤为重要。AUC-ROC&#xff08;Area Under the Receiver Operating Characteristic Curve&#xff0c;受试者工作特征曲线下的面积&#xff09;是一种有效的评估指…

界面组件DevExpress Blazor UI v23.2 - 支持.NET 8、全新的项目模版

DevExpress Blazor UI组件使用了C#为Blazor Server和Blazor WebAssembly创建高影响力的用户体验&#xff0c;这个UI自建库提供了一套全面的原生Blazor UI组件&#xff08;包括Pivot Grid、调度程序、图表、数据编辑器和报表等&#xff09;。 DevExpress Blazor控件目前已经升级…

机器人模型匹配控制(MPC)MATLAB实现

模型匹配控制&#xff08;Model matching control&#xff09;是指设计一个控制器使闭环系统的传递函数tf(s)与td(s)相一致&#xff01; mpcDesigner 可以分为&#xff1a; 2时域精确模型匹配控制3频域精确模型匹配控制 机械臂控制中应用模型匹配控制&#xff08;Model Matc…

10.MMD 室内场景导入背景视频和灯光

导入背景视频 1. 导入人物和场景 场景是Akali’s room&#xff0c;可以在墙壁上添加视频 先添加主场景 2. 修改视频文件格式 在背景里选择导入背景视频文件 需要将mp4视频格式转化为AVI格式 方法一 先将视频导入格式工厂 点击配置 将视频编码改成DivX 再开始处理 …

Keil和VSCode协同开发STM32程序

系列文章 STM32单片机系列专栏 C语言术语和结构总结专栏 文章目录 1. 配置环境 2. 测试打开工程 3. 测试编译工程 随着项目的复杂度上升&#xff0c;开发者不仅需要强大的硬件支持&#xff0c;还需要一个高效和灵活的开发环境。 vscode是一款集成大量可以便携开发插件的代码…

C语言入门课程学习笔记1

C语言入门课程学习笔记1 第1课 - 概论第2课 -helloworld第3课 -数据输出第4课 -数据类型与变量第5课 - 深入数据类型与变量第6课 - 类型与变量编程练习第7课 - 程序中的数据输入 本文学习自狄泰软件学院 唐佐林老师的 C语言入门课程&#xff0c;图片全部来源于课程PPT&#xff…

LabVIEW与Modbus协议的多点温度监控系统

LabVIEW与Modbus协议的多点温度监控系统 随着工业自动化和智能化水平的不断提升&#xff0c;对于现场监控技术的需求日益增长。开发了一种基于LabVIEW与Modbus协议的多点温度监控系统&#xff0c;实现高效、准确的温度数据采集、处理和显示&#xff0c;以及数据存储功能&#…