拥抱“Zero ETL”未来,亚马逊云科技助力乐城堡加速数据分析

f55942107b4c4b92a3cd6de1e2fd5ead.png获得全球三千五百多万用户的认可的移动游戏企业乐城堡希望通过数据分析为游戏业务提供更好的决策支撑。乐城堡在亚马逊云科技上利用Amazon Redshift等服务构建属于自己的云上游戏数据分析平台,实现复杂查询,保证游戏运营人员能快速、近实时地获取所需的数据与统计信息,实现产品的持续优化和更新,提升玩家体验。乐城堡所采用的亚马逊云科技服务包括Amazon Redshift、Amazon MSK、Amazon S3、Amazon CloudFront、Amazon SageMaker等。 

 

业务需求与挑战

北京乐城堡科技有限公司(以下简称“乐城堡”)致力于为全球用户提供精品移动游戏的公司。北京乐城堡科技公司旗下产品已获得全球三千五百多万用户的认可,旗下产品爱丽丝与词幻境(Alice in Wordland)获得苹果商店全球三千多次推荐。

在游戏业务运营中,乐城堡秉承“好的产品一定是用户体验优先,创新应来源于对用户的洞察,细节决定成败,精品需要精心打磨才能造就。”的产品理念,不断创新,为玩家提供优秀的智能手机游戏产品。要打造好的游戏作品,需要更好地了解玩家的喜好,因此游戏数据分析对于乐城堡来说至关重要。在过去的业务发展中,不同的游戏项目团队采用团队自己进行数据分析的方式,随着业务的不断发展,企业需要一种更好的方式来获得全局能见度。

 

为什么选择亚马逊云科技

通过对不同解决方案提供商的评估,乐城堡最终选择了亚马逊云科技,基于Amazon Redshift等服务构建属于自己的云上游戏数据分析平台。在乐城堡看来,亚马逊云科技的数据仓库与分析解决方案具有以下优势:

面向行业需求专门构建并且经过大量用户验证

亚马逊云科技面向游戏行业提供了针对游戏的分析和大数据应用解决方案,能够帮助企业更好地理解玩家、发展产品和提升玩家的参与度与保留率,并让企业做出更好的设计决策。这些解决方案不仅被众多的知名游戏工作室所应用和验证,同时也提供了面向全球市场的数据安全性与合规控制,帮助游戏企业更好地保护玩家数据。“我们的游戏业务运行在亚马逊云科技上,包括通过Amazon CloudFront处理访问日志,选择在亚马逊云科技上实现游戏业务的数据分析,不仅能够获得更低的延迟,消除大规模的数据传输和迁移工作,也能够让我们以弹性的方式存储和处理各类数据,降低数据分析中的构建和运营开销。”李明说。

提供易于集成的托管云服务和实时化的分析能力

游戏行业中数据分析对于乐城堡这样的游戏公司的重要性不言而喻,因此企业需要兼顾数据的准确性和实时性,尤其针对用户行为的分析。

乐城堡采用Amazon Redshift产品作为企业的核心数据仓库服务,通过将用户行为的埋点数据写入到Amazon Managed Streaming for Apache Kafka(MSK),结合Amazon Redshift内置的Streaming Ingestion技术能够将数据以准实时方式的写入到Amazon Redshift,并在此基础之上开展后续所需的数据分析。Amazon Managed Streaming for Apache Kafka(MSK)利用完全托管、高度可用的Apache Kafka服务安全的流式传输数据,是完全托管,无需担心基础设施的部署、配置和维护。

它消除了运营开销,包括预置、配置和维护高度可用的Apache Kafka和Kafka Connect集群的开销。Amazon MSK使得利用完全托管的Apache Kafka实时摄取和处理流数据变得很简单。“这种构建方式简化了数据分析团队的业务复杂度,并且在实时性和效率方面上有大幅的提升,帮助我们更快地了解用户的行为,更及时的调整我们业务策略,真正的实现让数据驱动业务。”李明谈到。

广泛的数据与分析服务可满足当前与未来的业务需求

亚马逊云科技提供了从数据存储、数据湖、大数据分析、流式分析、商业智能与机器学习在内的一系列广泛的云上托管服务,能够满足不同发展阶段的企业对于数据分析与利用的需求。“我们建立企业统一分析平台的初衷之一是消除各项目组自建数据库和自行分析给IT环境和业务造成的复杂度,亚马逊云科技的托管服务让我们可以轻松地按照业务的需求进行灵活的组合和构建,在短时间内打造属于自己的数据仓库和分析能力,因此我们可以更多地去关注于分析的策略和规则,而不是技术的运维管理。”李明谈到。

获得的成效

通过采用亚马逊云科技面向游戏行业的大数据分析解决方案,乐城堡不仅成功地应对了业务运营中的各类数据分析挑战,也让企业获得了多方面的成效:

首先是将之前分散在各个项目组的数据汇总,在企业内构建服务多游戏产品的统一数据分析平台,为企业提供数据驱动的业务运营引擎。亚马逊云科技的众多服务提供了“开箱即用”的方案以及与开源技术相一致的使用体验,乐城堡的数据分析团队可以充分利用这些优势在2个月的时间内完成各项目组的数据整合、迁移与数据仓库的构建,并根据不同业务的需求设计定制化的分析指标,让游戏项目组成员从复杂的数据分析设计和操作中释放出来,转变为分析结果的使用者,从而让有限的人力资源专注于游戏产品的创新。

其次让企业更有信心地应对玩家数量持续增长所带来的分析难题。“我们游戏业务所产生的数据量一直在增长,并且业务需要对一定时间的历史数据进行观测,结合DAU、日志量、时间范围等因素,仅玩家分析一个场景就需要面对数万条记录,以前无论是自建还是采用第三方的SaaS化方案效率都是极低的。”

李明说,“Amazon MSK作为全托管、高可用的Apache Kafka服务,帮助我们快速构建流式传输的管道,将之前端到端的数据传输延迟从分钟级提升到秒级,使得实时摄取和处理流数据变得简单高效。Amazon Redshift作为企业级数据仓库,能够容纳规模至PB级别的数据,实现复杂查询,保证游戏运营人员能快速获取所需的数据与统计信息,无论是规模还是并发性能,对于业务的持续增长我们都能保持信心。”

此外,亚马逊云科技各服务之间的良好集成度和互操作性也让乐城堡可以更好地降低数据分析的成本。与自建Hadoop集群与构建HDFS存储相比,采用Amazon Redshift与Amazon S3直连的方式可以简化企业在数据加工和存储过程中的架构复杂度并实现更好的成本效益,数据工程师可以使用熟悉的ANSI SQL直接在Amazon S3中查询开放文件格式,并可将各类数据轻松导出至Amazon S3数据湖进行进一步的加工利用。根据乐城堡的测算,在同样数据体量下,采用Amazon S3为数据仓库提供存储支持更具经济优势,能够帮助企业将成本控制到自建方式的十分之一。

展望未来,乐城堡将继续在游戏业务运营和数据分析场景中与亚马逊云科技保持密切的合作,以更好地挖掘数据所隐藏的价值。目前公司已在业务中应用Amazon Redshift ML,让大数据团队的开发人员能够在数据仓库中使用熟悉的SQL命令以更加轻松的方式来创建、训练和应用机器学习模型,乐城堡也将在人工智能与机器学习的应用中整合Amazon SageMaker提供的托管机器学习能力完成模型训练,帮助企业实现更加精细化的业务运营。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/16098.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot配置外部Tomcat项目以及启动流程源码分析

1.SpringBoot配置外部Tomcat并打war包 2.SpringBoot配置外部Tomcat项目启动流程源码分析

快速创建ES集群

win10 中docker 设置 快速创建集群 访问 官网 elasticsearch/docs/reference/setup/install/docker at main elastic/elasticsearch GitHub 负责上面2个文件,并修改,修改如下 .env文件 # Password for the elastic user (at least 6 characters) …

【MES中的APS生产排程】

我记得APS生产排程里的销售订单,是通过CRM接口过来的。 但是今天了解到,销售订单是营销直接在MES里下单。 第一步:销售订单维护 提交,审核之后,就会出现在MPS运算界面中。 关闭后,MPS里的运算结果也会同步关闭。 第二步:MPS运算 可以看到,刚才新增的销售订单:RXSD…

Python-opcua 编程(3)历史数据读写

历史数据就是将opcua 信息模型中的某一些变量保存起来,以便Client 端程序能够读取历史数据,作各种数据处理。 Opcua 标准指出历史数据的读写,主要包括: 属性 Historizing 当设置为True 时,该变量支持历史数据读写 …

优化成本,探索WhatsApp API发送更经济的OTP验证信息

在现代的数字化世界中,安全性和使用者验证变得至关重要。随着移动应用程序和在线服务的普及,一次性密码(OTP)验证已经成为确保使用者身份验证的主要手段之一。然而,对于许多企业来说,发送OTP验证信息可能会…

多元回归预测 | Matlab基于高斯过程回归(GPR)的数据回归预测,matlab代码,多变量输入模型

文章目录 效果一览文章概述部分源码参考资料效果一览 文章概述 多元回归预测 | Matlab基于高斯过程回归(GPR)的数据回归预测,matlab代码,多变量输入模型 评价指标包括:MAE、RMSE和R2等,代码质量极高,方便学习和替换数据。要求2018版本及以上。 部分源码

计算机体系结构基础知识介绍之缓存性能的十大进阶优化之关键词优先和提前重启以减少失误处罚、合并写入缓冲区以减少惩罚(五)

优化五:关键词优先,提前重启,减少漏判 处理器通常一次只需要缓存块中的一个字(word)。不要等待整个块被加载,而是在请求的字到达后就立即发送给处理器,并让处理器继续执行,同时填充…

加速大模型落地!使用4-bit训练Transformer,比FP16快2.2倍,提速35.1%

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID|计算机视觉研究院 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/pdf/2306.11987.pdf 项目地址:https://github.com/xijiu9/Train_Transformers…

裸机搭建k8s报错记录

安装教程参考 修复一、 cd /etc/kubernetes/manifests vim kube-scheduler.yaml注释掉 重启 systemctl restart kubelet.service问题二、 https://github.com/kubernetes/kubernetes/issues/70202 一直处于创建中状态 网络原因 cat << EOF > /run/flannel/subnet.…

对卷积和全连接之间关系的学习(1*1卷积与全连接层可以互换吗?)

1.对于卷积和全连接 首先我们看一张图&#xff0c;它是一张关于卷积的操作&#xff1a; 然后在看关于全连接的操作&#xff1a; 从上面两张图中可以看出卷积的过程和全连接的过程&#xff0c;我们利用粉色的卷积核在image上进行卷积&#xff0c;进行内积计算得到输出值3&#…

uniapp zjy-calendar日历,uni-calendar日历增强版

一、zjy-calendar简介 zjy-calendar日历是对uniapp uni-calendar日历的增强&#xff0c;支持圆点和文字自定义颜色。 二、使用方法 源使用说明&#xff1a;https://uniapp.dcloud.net.cn/component/uniui/uni-calendar.html 1、下载导入 https://ext.dcloud.net.cn/plugin?…

django框架中使用ORM设计数据库的模型

ORM关联数据的逻辑是&#xff1a; Django 中常见的模型字段类型及其含义&#xff1a; AutoField&#xff1a;一个自动递增的整型字段&#xff0c;添加记录时它会自动增长。BigAutoField&#xff1a;一个自动递增的 biginteger字段&#xff0c;添加记录时它会自动增长。CharFie…