Pandas进阶:transform 数据转换的常用技巧

引言

本次给大家介绍一个功能超强的数据处理函数transform,相信很多朋友也用过,这里再次进行详细分享下。

transform有4个比较常用的功能,总结如下:

  • 转换数值

  • 合并分组结果

  • 过滤数据

  • 结合分组处理缺失值

一. 转换数值

pd.transform(func, axis=0)

以上就是transform转换数值的基本用法,参数含义如下:

  • func是指定用于处理数据的函数,它可以是普通函数字符串函数名称函数列表轴标签映射函数的字典

  • axis是指要应用到哪个轴,0代表列,1代表行。

1. 普通函数

func可以是我们正常使用的普通函数,像下面例子这样自定义一个函数。

df = pd.DataFrame({'A': [1,2,3], 'B': [10,20,30] })
def plus_10(x):return x+10
df.transform(plus_10)

图片

或者,也可以用lambda函数简洁的实现,效果是一样的。

df.transform(lambda x: x+10)

2. 字符串函数

也可以传递任何有效的pandas内置的字符串函数,例如sqrt

df.transform('sqrt')

图片

3. 函数列表

func还可以是一个函数的列表。例如numpysqrtexp函数的列表组合:

df.transform([np.sqrt, np.exp])

图片

通过上面结果看到,两个函数分别作用于AB每个列。

4. 轴标签映射函数的字典

如果我们只想将指定函数作用于某一列,该如何操作?

func还可以是轴标签映射指定函数的字典。例如:

df.transform({'A': np.sqrt,'B': np.exp,
})

图片

这样,就可以对ABL两列分别使用相应函数了,互补干扰。

二、合并分组结果

这个功能是东哥最喜欢的,有点类似SQL的窗口函数,就是可以合并grouby()的分组结果。用一个例子说明:

df = pd.DataFrame({'restaurant_id': [101,102,103,104,105,106,107],'address': ['A','B','C','D', 'E', 'F', 'G'],'city': ['London','London','London','Oxford','Oxford', 'Durham', 'Durham'],'sales': [10,500,48,12,21,22,14]
})

图片

我们可以看到,每个城市都有多家销售餐厅。我们现在想知道每家餐厅在城市中所占的销售百分比是多少。 预期输出为:

图片

传统方法是:先groupby分组,结合apply计算分组求和,再用merge合并原表,然后再apply计算百分比。

但其实用transform可以直接代替前面两个步骤(分组求和、合并),简单明了。

首先,用transform结合groupby按城市分组计算销售总和。

df['city_total_sales'] = df.groupby('city')['sales'].transform('sum')

图片

可以看到,使用transfrom计算分组的求和并不会像apply一样改变原表的结构,而是直接在原表的基础上再增加一列。

这样就可以一步到位,得到我们想要的格式。

然后,再计算百分比调整格式,搞定。

df['pct'] = df['sales'] / df['city_total_sales']
df['pct'] = df['pct'].apply(lambda x: format(x, '.2%'))

图片

三、过滤数据

transform也可以用来过滤数据。仍用上个例子,我们希望获得城市总销售额超过40的记录,那么就可以这样使用。

df[df.groupby('city')['sales'].transform('sum') > 40]

图片

上面结果来看,并没有生成新的列,而是通过汇总计算求和直接对原表进行了筛选,非常优雅。

四、结合分组处理缺失值

df = pd.DataFrame({'name': ['A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],'value': [1, np.nan, np.nan, 2, 8, 2, np.nan, 3]
})

在上面的示例中,数据可以按name分为三组A、B、C,每组都有缺失值。我们知道替换缺失值的常见的方法是用mean替换NaN。下面是每个组中的平均值。

df.groupby('name')['value'].mean()
name
A    1.0
B    5.0
C    2.5
Name: value, dtype: float64

我们可以通过transform()使用每组平均值来替换缺失值。用法如下:

df['value'] = df.groupby('name').transform(lambda x: x.fillna(x.mean()))

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/236460.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Kafka的存储机制和可靠性

文章目录 前言一、Kafka 存储选择二、Kafka 存储方案剖析三、Kafka 存储架构设计四、Kafka 日志系统架构设计4.1、Kafka日志目录布局4.2、Kafka磁盘数据存储 五、Kafka 可靠性5.1、Producer的可靠性保证5.1.1、kafka 配置为 CP(Consistency & Partition tolerance)系统5.1.…

IDEA2023找不到 Allow parallel run

我的idea版本:2023.1.4 第一步:点击Edit Configrations 第二步:点击Modify options 第三步:勾选Allow multiple instances 最后点击Apply应用一下 ok,问题解决!

中台战略思想与架构总结

中台战略思想与架构总结 在2015年年中,马云带领阿里高管,拜访了游戏公司Supercell,以《部落战争》《海岛奇兵》《卡通农场》等游戏知名。 Supercell是一家典型的以小团队模式进行游戏开发的公司,一般来说两个员工,或…

UG\NX二次开发 设置是否允许通过NXOpen锁定属性

文章作者:里海 来源网站:里海NX二次开发3000例专栏 感谢粉丝订阅 感谢 2301_80939425 订阅本专栏,非常感谢。 简介 在使用UF_ATTR_set_locked函数锁定属性前,需要先设置是否允许通过NXOpen锁定属性。使用下面的代码可以修改“用户默认设置”当 NX 启动时,客户默认值将读取…

代码随想录算法训练营 ---第五十一天

1.第一题: 简介: 本题相较于前几题状态复杂了起来,因为多了一个冷冻期。本题讲解可去代码随想录看,这里差不多只是加了些自己的理解。 动规五部曲,分析如下: 确定dp数组以及下标的含义 dp[i][j]&#x…

阿里云Arthas使用——通过watch命令查看类的返回值 捞数据出来

前言 Arthas 是一款线上监控诊断产品,通过全局视角实时查看应用 load、内存、gc、线程的状态信息,并能在不修改应用代码的情况下,对业务问题进行诊断,包括查看方法调用的出入参、异常,监测方法执行耗时,类…

flutter Running Gradle task ‘assembleDebug‘

flutter Running Gradle task assembleDebug Running Gradle task assembleDebug新问题描述新问题解决方案 Running Gradle task ‘assembleDebug’ 用Android Stduio创建Flutter项目的时候,会出现各种问题,踩了一个又一个,最后编译的时候可…

uniapp如何与原生应用进行混合开发?

目录 前言 1.集成Uniapp 2.与原生应用进行通信 3.实现原生功能 4.使用原生UI组件 结论: 前言 随着移动应用市场的不断发展,使用原生开发的应用已经不能满足用户的需求,而混合开发成为了越来越流行的选择。其中,Uniapp作为一种跨平台的开…

(学习笔记)Xposed模块编写(一)

前提:需要已经安装Xposed Installer 1. 新建一个AS项目 并把MainActvity和layout_activiyt.xml这两个文件删掉,然后在AndriodManifest.xml中去掉这个Activity的声明 2. 在settings.gralde文件中加上阿里云的仓库地址,否则Xposed依赖无法下载 …

SpringMvc集成开源流量监控、限流、熔断降级、负载保护组件Sentinel | 京东云技术团队

前言:作者查阅了Sentinel官网、51CTO、CSDN、码农家园、博客园等很多技术文章都没有很准确的springmvc集成Sentinel的示例,因此整理了本文,主要介绍SpringMvc集成Sentinel SpringMvc集成Sentinel 一、Sentinel 介绍 随着微服务的流行&…

【性能测试】性能测试监控关键指标

系统指标 检测性能测试是否有bug的关键指标 1、系统指标——与用户场景及需求直接相关。 并发用户数:某一物理时刻同时向系统提交请求的用户数。平均响应时间:系统处理事务的响应时间的平均值,对于系统快速响应类页面,一般响应…

深入了解Rabbit加密技术:原理、实现与应用

一、引言 在信息时代,数据安全愈发受到重视,加密技术作为保障信息安全的核心手段,得到了广泛的研究与应用。Rabbit加密技术作为一种新型加密方法,具有较高的安全性和便捷性。本文将对Rabbit加密技术进行深入探讨,分析…