分享热点新闻
打造优质自媒体!

“将大象装入冰箱”,UCloud将爱普生的新媒体数据操作提升了21倍

导语:目前,艾普新媒体的广告数据规模太大,大象已经播放。如何将这头大象“减肥”放入“冰箱真正使用?UCloud数据湖分析程序帮助艾普新媒体解决目前的问题。”

“在成周期内,平均业务数据需求增加了21倍,从43.2小时增加到2小时。”

“大数据工程师每月减少20个人日的工作量。”

“对大数据基础设施的投资减少了92.85%。”

张先生是北京爱普新媒体公司的大数据负责人。这是一家专门从事广告DSP(Demand-Side Platform)业务的公司,2010年成立了成。随着DSP广告模式的引入进入中国成,公司发展良好。

“将大象装入冰箱”,UCloud将爱普生的新媒体数据操作提升了21倍 科学快报 第1张

然而,张先生很快发现,广告数据的增长率远远超出预期。该公司大数据工程师的招聘目标只有成的一半,但是数据量已经达到数百T。一些数据工程师必须努力工作以帮助业务分析师运行SQL任务并进行故障排除,但仍然没有什么影响。随着广告项目的增长,业务部门的数据分析师对大数据部门的投诉也在不断增加。

作为广告服务提供商,数据统计是公司的生命线。由于广告商自己的数据管理,如果不允许制作成广告投放数据,并且第三方测试组织的数据不匹配。在果无法想象之后,广告商甚至会拒绝它。沉降。

就像张先生不堪重负一样,UCloud向他推荐了数据湖分析程序。经过初步试验和数据验证,张先生决定将一小部分业务放在数据湖分析程序上,这是本文的开头。

广告的一半是科学,一半是艺术。其中,基于效果果的DSP取决于成本性能和投资回报,并且在经济上是负责任的。 可以非常科学。在张先生看来,有这样一个帐户:

“将大象装入冰箱”,UCloud将爱普生的新媒体数据操作提升了21倍 科学快报 第2张

张先生的工作场景也是大量中小企业面对大数据所面临的困难。在中小企业的规模为成之后,由于收入没有跟上,每年面对数百万的大数据投资往往只是一个艰巨的步骤。

艾普新媒体面临的数据挑战:

业务分析师说:

1.数据量太大,无法独立分析成。

2.数据任务完成成周期长度

3.数据结果不准确,但无法查看原始详细数据

数据部门说:

1.企业有临时数据要求,占用的技术人力资源有限。

2.数据需求通常需要返工

3.数据规模增长过快,数据仓库成正在增长。

爱普新媒体拥有“Cloud Rubik’s Cube”互联网精准营销平台,“云速”企业移动信息服务平台和“云交换”互动广告平台。广告数据太大,大象一直在玩,如何把这头大象“瘦身”放进“真正使用冰箱”。这是艾普新媒体需要解决的紧迫问题。

第一步:

打开冰箱门(传输数据)

Ukafka(Kafka Message Queue)是一种分布式消息产品,旨在处理流数据。通过创建集群来创建UKafka,Kafka及其所依赖的服务可以快速部署,为用户提供快速部署,易于管理和灵活的流数据处理系统,以减轻大象的负担。

步骤2

将大象放入冰箱(存储数据)

对象存储(UFile)是一种为Internet应用程序提供非结构化文件云存储的服务,将瘦身大象(Ukafka)导入对象存储(UFile)。与传统的硬盘存储相比,UFile云存储具有无存储限制,高并发访问支持和低成的优点。它解决了服务架构的文件存储问题,有效减少了海量文件成的存储,并支持热数据的高并发访问。改善最终用户访问体验。

步骤3

关闭冰箱门(数据可视化)

Data Lake Analysis(USQL)是一种可扩展,成低成本无服务器SQL分析和计算引擎,可以轻松完成成数据建模工作的海量数据,SQL可以完成成数据查询和分析,大大降低使用大数据的阈值对数据库管理员和操作人员的需求,大大减少了对大数据工程师的依赖。回到大象的来源,让数据使用。

完整的数据湖分析程序不仅可以将大象放入冰箱,还可以让大象跳舞。