R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析

news/2025/3/13 12:39:55/文章来源:https://www.cnblogs.com/tecdat/p/18236118

原文链接:http://tecdat.cn/?p=7923

原文出处:拓端数据部落公众号

 

使用R和Python进行分析的主要好处之一是,它们充满活力的开源生态系统中总是有新的和免费提供的服务。如今,越来越多的数据科学家能够同时在R,Python和其他平台上使用数据,这是因为供应商向R和Python引入了具有API的高性能产品,也许还有Java,Scala和Spark。

H2O品牌被称为“商业AI”,“使任何人都可以轻松地应用数学和预测分析来解决当今最具挑战性的业务问题。” H2O的与众不同之处在于其全面的,开源,跨平台,机器学习基础架构从头开始,以实现可扩展性和速度。

 

在本练习中,我部署了R的数据管理功能来构建模型数据集,然后“导入”到H2o结构中以运行模型。我可以轻松使用H2O功能。

概述的任务序列从数据加载和训练/测试数据集构建开始。然后启动H2O服务器,依次按glm,带有三次样条的glm,梯度增强,随机森林和深度学习模型计算/绘制结果。提供了H2O数据集构建和模型训练的时间。

首先加载R库并设置工作目录。

 

现在加载并子集用于建模练习的数据。 有8,644,171个案例和7个属性。

 

 

下一步是将Acs2014划分为R中的训练和测试数据表。对于我们的分析,因变量是logincome,而功能包括年龄,性别,种族和教育程度。

 

启动H2O服务器,分配16G RAM并使用所有8个内核。

 

现在从R data.tables创建H2O数据结构。我们可以使用data.frames / data.tables进行数据处理,也可以直接使用H2O数据结构和功能。 

 

 

运行 线性模型(glm),并使用训练数据对登录年龄,性别,种族和教育程度进行回归。 

 

 

再次运行glm模型,这次使用年龄的三次样条来显示年龄和登录名之间的曲线关系。


 

 

 

 

 

 

 

接下来,进行梯度增强,更多是非参数的,重采样的黑匣子模型。执行速度慢得多,反映出计算量很大。请 

 

 

 

 

现在让我们尝试随机森林。


 

 

最后是深度学习。


 

 

对模型性能的粗略检查表明,使用这些数据和模型,梯度提升可能会产生最佳结果。当然,不同的训练和测试数据集会产生不同的性能。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/721135.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【专题】2024医药研发趋势年度回顾白皮书报告合集PDF分享(附原数据表)

原文链接:https://tecdat.cn/?p=36410 原文出处:拓端数据部落公众号 在开始编纂2024年的药物研发合集之前,我们先概览当前研发管线中的药物总数,以确立后续分析所依托的框架。鉴于本报告合集的核心内容围绕这些药物展开,对“研发管线”的明确定义显得尤为重要。 在此,我…

代码随想录算法训练营第二十九天 | 491.非递减子序列 46.全排列 47.全排列II

491.非递减子序列 题目链接 文章讲解 视频讲解 层间去重:回溯法相当于深搜,所以所以是一直递归到叶节点才开始回溯; 每次进入backtracking也就进入了搜索树的下一层,所以每进入一层需要用一个used_set来记录使用过的元素;class Solution { private:vector<int> sub;…

6.6--链表

链表的定义 C++的定义链表节点方式,如下所示: // 单链表 struct ListNode {int val; // 节点上存储的元素ListNode *next; // 指向下一个节点的指针ListNode(int x) : val(x), next(NULL) {} // 节点的构造函数 };不定义构造函数,C++默认生成一个构造函数,但是这个构造函…

6.5--链表

链表的定义 C++的定义链表节点方式,如下所示: // 单链表 struct ListNode {int val; // 节点上存储的元素ListNode *next; // 指向下一个节点的指针ListNode(int x) : val(x), next(NULL) {} // 节点的构造函数 };不定义构造函数,C++默认生成一个构造函数,但是这个构造函…

python多进程 AttributeError: Cant get attribute on module __main__ (built-in)

在学习python多进程的发现一个问题 代码在单独的py文件中可以正确执行,但在jupyter notebook中会报错在此记录一下 解决后处理

智能仪表通过Modbus转Profinet网关与PLC通讯方案

Modbus转Profinet网关(XD-MDPN100/300)的主要功能是实现Modbus协议和Profinet协议之间的转换和通信。Modbus转Profinet网关集成了Modbus和Profinet两种协议,支持Modbus RTU主站/从站,并可以与RS485接口的设备,它自带网口和串口,既可以实现协议的转换,也可以实现接口的转…

5分钟入门大模型,就5分钟

这个是大模型系列课程的第一节。 接下来我带着大家一起拥抱新技术,分享的进展不会很快,大概一周一次,有这个是大模型系列课程的第一节。 接下来我带着大家一起拥抱新技术,分享的进展不会很快,大概一周一次,有空可以直播讲解或实操。为了照顾那些工程出身,甚至非技术同学…

(4)跨时钟域设计(多bit+FIFO)

一、引入   以上是多bit指示信号的传输与指示信号不同,多bit数据流具有连续性,即背靠背传输,同时要求信号具有较快的传播速度目前多bit数据流传输有两种,一种是借助SRAM,另一种是借助FIFO 二、FIFO   如果FIFO内数据写满则生成满信号,反压上游结点,上游停止写入新的…

采用Dapr 的IoT 案例

CNCF 发布了一篇Dapr 的IoT 案例:Tempestive uses Dapr and K8s to track IoT messages | CNCF。Tempestive 是一家物联网解决方案提供商,其产品 Nuboj 面临着可扩展性、成本和维护方面的挑战。为了解决这些问题,Tempestive 采用 Dapr 和 Kubernetes 构建了一个新的架构,实…