宏观 华财讯 证券 产经 消费 科技 房产 酒业 银行 保险 智慧家

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

2021年12月13日 14:15 来源:中华网财经
分享: 微信

近日,2021腾讯数字生态大会在武汉举行,大会以“数实融合·绽放新机”为主题,邀请了300多位产业领袖和专家,展示前沿技术成果、创新服务场景、细分行业数字化转型的实践案例。作为腾讯云最佳生态合作伙伴,作业帮受邀出席,作业帮大数据平台技术部负责人刘晋在“大数据”专场与参会者分享作业帮大数据平台架构的演进之路,系统地介绍了作业帮大数据平台概况、面临的问题和解决方法,以及在弹性、数据湖、数据安全的实践经历和取得的效果。

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

弹性能力持续丰富 算力利用率最大化

刘晋表示,作业帮从2015年开始就使用存算分离的架构来构建离线的数据体系,该系统架构让计算、存储资源具备极好的扩展性,降低运维成本、优化TCO。为了提升在线集群资源利用率、满足突发的资源使用需求,团队正在将计算层从自建CDH到EMR的迁移。

为了实现平滑的迁移,团队采用了渐进式的方案,首先对任务进行标准化测试,对一些不适合高版本Hive环境的任务进行了改造,之后进行数据准确性的检验,通过对任务在不同集群的结果对比来验证数据,这个过程中对发现的开源版本缺陷进行修复,最后进行分队列的迁移。

从迁移后的效果来看,基于EMR-EKS能快速的弹性扩容,今年上半年团队基于弹性在短时间内扩容了上万核,很好的满足了计算需求。同时正在实施在线离线混布的方案,通过弹性网卡做了硬件层面的网络隔离,并且对Yarn的原生调度模式进行优化,缩短了节点回收的时间,避免慢节点影响任务执行效率。

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

数据湖技术加持 湖仓一体实践探索

在传统基于Hadoop的数仓应用里,存在着数据查询慢,数据模型更新成本过高、以及数据冗余等诸多的缺点,作业帮通过Iceberg的数据湖技术,结合实际的使用场景,在数仓和即席查询领域进行了积极的探索和实践。

首先通过Flink构建实时Pipeline,生成ODS层分钟级的IceBerg数仓表,再通过事件驱动来周期性的做流转批生成具有时间边界的分区,对分区内数据通过Zorder、DataSkipping技术来做查询加速,在流量域的用户行为查询中,使用Iceberg的查询相比传统模式有近10倍以上的提升。

刘晋表示,作业帮在批计算、实时、OLAP等领域有丰富的应用场景,未来作业帮技术团队将持续建设创新技术体系,在数据治理、数据湖、自动调度、离在线混布、OLAP、实时计算等领域不断的实践和突破,充分发挥数据价值,赋能教育创新。

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

(责任编辑:CF001)

推荐阅读 相关文章

被动转型的丽翔教育,能否跳出“温水”?

近日,因公众股东不足400人,丽翔教育收到纳斯达克退市警告。业绩增长缓慢、合规之剑高悬、想象空间有限,曾让丽翔教育始终无法得到资本青睐。如今...

来源:蓝鲸财经

思考乐转型周年考:“瘦身”艰难,青黄不接

这只受重创的“K12华南虎”过得怎样?...

来源:蓝鲸财经

体面退场,海亮教育的“最优解”

“美股上市公司”的头衔已如同鸡肋。...

来源:蓝鲸财经

高途试水直播带货:东施效颦?

高途可能也没抱太大期望。...

来源:蓝鲸财经

学前教育提升 北京鼓励幼儿园开托班

同时,《计划》还在提高学前入园率和普惠性幼儿园覆盖率上提出目标要求,明确到2025年,北京市学前三年入园率保持在90%以上,公办园在园幼儿占...

来源:北京商报

冲刺“借壳上市”,夹缝中求发展的百家云成色几何?

继读书郎、见知教育后,资本市场即将迎来又一家教育上市公司。如果一切顺利,百家云近期即将通过“借壳”的手段成为上市公司。...

来源:蓝鲸财经

七年亏25亿,元宇宙救得了中文在线吗?

如果没有业绩支撑,元宇宙终究是“镜花水月”。...

来源:蓝鲸财经

“断臂”的华夏视听教育,走出谷底了吗?

虽然上半年业绩有所企稳,但依然看不到走出谷底的前景。...

来源:蓝鲸财经

学习机频“翻车”,智能硬件如何守住教育本分?

作为热门赛道,学习机为何频频翻车?...

来源:蓝鲸财经

教育部:完善举措 进一步巩固深化高考改革

在教育部15日举行的新闻发布会上,相关负责人介绍,目前,高考改革取得了积极成效,但改革还需要进一步巩固和深化。...

来源:财联社

一起教育科技二季度营收1.335亿元,净亏损2640万元

9月14日,一起教育科技公布了未经审计的2022年第二季度财务业绩。财报显示,该季度营收为人民币1.335亿元,较2021年第二季度的人民币...

来源:新京报

一起教育期中考:金玉其外,隐忧其中

一起教育未来已一帆风顺?...

来源:蓝鲸财经

全通教育转型,“此路不通”

打破发展困局,仍有很长的路。...

来源:蓝鲸财经

疫情反复仍加码线下,新东方烹饪“豪赌”

疫情反复仍不断加码线下,中国东方教育意欲何为?...

来源:蓝鲸财经

作业帮喵喵机让错题整理变得更简单

如今的家长们都十分重视孩子的学习情况,为的就是让孩子可以学习到更多的知识,考进好的学校。孩子在学习过程中遇见难题、错题是很常见的事情,然而很...

来源:中华网财经

感受数学之美 作业帮这个专利让学生读懂“表达式”

数字、符号、公式和定理,如果说数学给人的是一种深奥和复杂的感觉。那表达式作为数学的语言,也散发着同样的气质。...

来源:中华网财经

作业帮喵喵机携手《宝可梦》大电影惊喜助力开学季

风靡全球的《宝可梦》系列最新动画电影《宝可梦:皮卡丘和可可的冒险》近日官宣定档,时逢开学季,被称为“学习口袋精灵”的作业帮喵喵机携手最新《宝...

来源:中华网财经

作业帮公开人工智能发明专利 可对手写汉字质量进行评价

近日,作业帮APP运营主体小船出海教育科技(北京)有限公司公开了一项名为“文字书写质量评价方法、装置、电子设备和记录介质”的发明专利,公开号...

来源:中华网财经

上直播课还能纠正坐姿!作业帮放出专利,妈妈们不用再担心

孩子上课坐姿不端正,妈妈们操碎了心。但你知道吗?现在的在线直播课堂,已经可以针对这一普遍现象进行有针对性地纠正、提醒。...

来源:中华网财经

作业帮推出小鹿写字,为7-12岁孩子解决写字痛点

7-12岁是孩子学习识字、写字的黄金时期,这个时期的小学生书写习惯和风格正在逐步稳定和确定,如果字认不全、写不好,字迹潦草,可能会影响孩子形...

来源:中华网财经

作业帮推出小鹿写字课背后,已悄然申请文字书写质量评价专利

当下,写字课正在成为众多孩子和家长的选择。...

来源:中华网财经

作业帮小鹿编程宣布课程升级,探索在线素质教育新模式

近日,作业帮旗下小鹿编程宣布课程升级,以更科学、全面的知识结构和课程体系,培养少儿“三大思维”和“四大能力”,探索中国在线素质教育新模式。...

来源:中华网财经

推动素质教育发展,作业帮“小鹿素养”获“优秀产品创新奖”

12月1日,由标点财经研究院联合《投资时报》主办的“见未来•2021第四届资本市场高峰论坛暨金禧奖年度颁奖盛典”在京举行,作业帮旗下“小鹿素...

来源:中华网财经

打造素质教育创新模式,作业帮小鹿素养宣布新学期升级

2月15日,领先的少儿素质教育品牌小鹿素养宣布将在新学期升级,迎来新产品体验和课程体系的重磅发布。...

来源:中华网财经

联系方式

中华网新媒体 财经频道
互动/投稿邮箱:
finance@zhixun.china.com
网上不良信息举报电话:010-56177181
财经频道联系电话:(010)56176102