宏观 华财讯 证券 产经 消费 科技 房产 酒业 银行 保险 投资

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

2021年12月13日 14:15 来源:中华网财经
分享: 微信

近日,2021腾讯数字生态大会在武汉举行,大会以“数实融合·绽放新机”为主题,邀请了300多位产业领袖和专家,展示前沿技术成果、创新服务场景、细分行业数字化转型的实践案例。作为腾讯云最佳生态合作伙伴,作业帮受邀出席,作业帮大数据平台技术部负责人刘晋在“大数据”专场与参会者分享作业帮大数据平台架构的演进之路,系统地介绍了作业帮大数据平台概况、面临的问题和解决方法,以及在弹性、数据湖、数据安全的实践经历和取得的效果。

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

弹性能力持续丰富 算力利用率最大化

刘晋表示,作业帮从2015年开始就使用存算分离的架构来构建离线的数据体系,该系统架构让计算、存储资源具备极好的扩展性,降低运维成本、优化TCO。为了提升在线集群资源利用率、满足突发的资源使用需求,团队正在将计算层从自建CDH到EMR的迁移。

为了实现平滑的迁移,团队采用了渐进式的方案,首先对任务进行标准化测试,对一些不适合高版本Hive环境的任务进行了改造,之后进行数据准确性的检验,通过对任务在不同集群的结果对比来验证数据,这个过程中对发现的开源版本缺陷进行修复,最后进行分队列的迁移。

从迁移后的效果来看,基于EMR-EKS能快速的弹性扩容,今年上半年团队基于弹性在短时间内扩容了上万核,很好的满足了计算需求。同时正在实施在线离线混布的方案,通过弹性网卡做了硬件层面的网络隔离,并且对Yarn的原生调度模式进行优化,缩短了节点回收的时间,避免慢节点影响任务执行效率。

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

数据湖技术加持 湖仓一体实践探索

在传统基于Hadoop的数仓应用里,存在着数据查询慢,数据模型更新成本过高、以及数据冗余等诸多的缺点,作业帮通过Iceberg的数据湖技术,结合实际的使用场景,在数仓和即席查询领域进行了积极的探索和实践。

首先通过Flink构建实时Pipeline,生成ODS层分钟级的IceBerg数仓表,再通过事件驱动来周期性的做流转批生成具有时间边界的分区,对分区内数据通过Zorder、DataSkipping技术来做查询加速,在流量域的用户行为查询中,使用Iceberg的查询相比传统模式有近10倍以上的提升。

刘晋表示,作业帮在批计算、实时、OLAP等领域有丰富的应用场景,未来作业帮技术团队将持续建设创新技术体系,在数据治理、数据湖、自动调度、离在线混布、OLAP、实时计算等领域不断的实践和突破,充分发挥数据价值,赋能教育创新。

受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路

(责任编辑:CF001)

推荐阅读 相关文章

思维造物IPO再中止,知识付费还好做吗?

整个泛知识领域,或许依然没能解决商业模式难题。...

来源:蓝鲸教育

博实乐退市在即,“教育+地产”终成幻影?

“教育+地产”或将进入闷声发大财的阶段。...

来源:蓝鲸财经

注册排队逾一年,弘成立业打“退堂鼓” 营收利润双下滑

在注册阶段排队逾13个月后,北京弘成立业科技股份有限公司(简称“弘成立业”)打起了退堂鼓,主动撤单创业板IPO,目前公司发行注册已经终止。...

来源:北京商报

北京叫停备案受理教育类App亟待“去学前化”

针对学前教育类App的监管进一步趋严。...

来源:北京商报

迷雾中的豆神,能否“挽狂澜于既倒”?

智慧教育、素质教育与直播带货等新业务,能否带领问题不断的豆神教育走出泥潭?...

来源:蓝鲸财经

蓝翔“宫斗”十年:劳燕分飞,难得体面

夫妻互告、母女互撕、翁婿大打出手……蓝翔的“连续剧”没有尽头。...

来源:蓝鲸财经

变卖资产、定增筹钱,一代“妖股”还有多少雷没排?

近日,全通教育发布了2021年年报及2022年第一季度业绩。...

来源:蓝鲸财经

教培公司去年成绩单亏损 早幼教公司新机会在哪

多轮政策冲击之下,K12培训风声鹤唳,早幼教公司却“喜忧参半”。截至4月28日,多个早幼教概念股交出2021年财务“成绩单”。...

来源:北京商报

学前教育十年:普惠园占比超八成 毛入园率持续快速提高

4月26日,教育部披露学前教育领域最新发展情况。十年来,我国学前教育资源总量增加迅速。2021年全国幼儿园已达到29.5万所,比2011年增...

来源:北京商报

美吉姆,从明星品牌到“过街老鼠”

美吉姆再度登上舆论的风口浪尖。...

来源:蓝鲸财经

中科院停用事件背后,争议漩涡中的知网

经过20余年发展,知网数据库已发展成为各大高校图书馆及研究机构采购的重要标的之一,也是学术科研人员及学生查阅文献资料的重要途径。...

来源:新京报

作业帮喵喵机让错题整理变得更简单

如今的家长们都十分重视孩子的学习情况,为的就是让孩子可以学习到更多的知识,考进好的学校。孩子在学习过程中遇见难题、错题是很常见的事情,然而很...

来源:中华网财经

感受数学之美 作业帮这个专利让学生读懂“表达式”

数字、符号、公式和定理,如果说数学给人的是一种深奥和复杂的感觉。那表达式作为数学的语言,也散发着同样的气质。...

来源:中华网财经

作业帮喵喵机携手《宝可梦》大电影惊喜助力开学季

风靡全球的《宝可梦》系列最新动画电影《宝可梦:皮卡丘和可可的冒险》近日官宣定档,时逢开学季,被称为“学习口袋精灵”的作业帮喵喵机携手最新《宝...

来源:中华网财经

作业帮公开人工智能发明专利 可对手写汉字质量进行评价

近日,作业帮APP运营主体小船出海教育科技(北京)有限公司公开了一项名为“文字书写质量评价方法、装置、电子设备和记录介质”的发明专利,公开号...

来源:中华网财经

上直播课还能纠正坐姿!作业帮放出专利,妈妈们不用再担心

孩子上课坐姿不端正,妈妈们操碎了心。但你知道吗?现在的在线直播课堂,已经可以针对这一普遍现象进行有针对性地纠正、提醒。...

来源:中华网财经

作业帮推出小鹿写字,为7-12岁孩子解决写字痛点

7-12岁是孩子学习识字、写字的黄金时期,这个时期的小学生书写习惯和风格正在逐步稳定和确定,如果字认不全、写不好,字迹潦草,可能会影响孩子形...

来源:中华网财经

作业帮推出小鹿写字课背后,已悄然申请文字书写质量评价专利

当下,写字课正在成为众多孩子和家长的选择。...

来源:中华网财经

作业帮小鹿编程宣布课程升级,探索在线素质教育新模式

近日,作业帮旗下小鹿编程宣布课程升级,以更科学、全面的知识结构和课程体系,培养少儿“三大思维”和“四大能力”,探索中国在线素质教育新模式。...

来源:中华网财经

推动素质教育发展,作业帮“小鹿素养”获“优秀产品创新奖”

12月1日,由标点财经研究院联合《投资时报》主办的“见未来•2021第四届资本市场高峰论坛暨金禧奖年度颁奖盛典”在京举行,作业帮旗下“小鹿素...

来源:中华网财经

打造素质教育创新模式,作业帮小鹿素养宣布新学期升级

2月15日,领先的少儿素质教育品牌小鹿素养宣布将在新学期升级,迎来新产品体验和课程体系的重磅发布。...

来源:中华网财经

联系方式

中华网新媒体 财经频道
互动/投稿邮箱:
finance@zhixun.china.com
网上不良信息举报电话:010-56177181
财经频道联系电话:(010)56176102