阿里云开源大数据平台EMR 全面升级 性能最高可提升6倍

访客10个月前AI生活100
阿里云开源大数据平台EMR 全面升级 性能最高可提升6倍12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0,升级后的开源大数据平台在成本持平的情况下,扩缩容性能最高可提升6倍。

据悉,阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。

999.jpg 

EMR2.0与EMR1.0弹性扩容速度对比

云原生趋势下,开源大数据处于重构之中,以 Hadoop 为核心的开源大数据体系,开始转变为多元化技术并行发展。阿里云EMR产品负责人何源介绍, 阿里云EMR于2009年开始服务阿里巴巴集团内部客户,2016年将过往的技术能力产品化开放,为客户提供商业化服务。作为开源大数据领域的引领产品,EMR 2.0通过云原生能力重构平台层、数据层、计算层,满足数千客户流处理、数据可视化、交互式分析、数据湖等多场景需求,重新定义了新一代开源大数据平台。为客户构建新一代开源大数据基础设施。

888(1).jpg 

EMR 2.0产品架构图

客户基于EMR2.0平台可实现更加低成本、高效率、智能化的大数据集群管控和应用开发。通过使用抢占式实例,生产实证最多可降低百分之八十以上的成本。开启故障实例自动补偿,在全场景集群下,稳定性可以提高1个9。全新发布的EMR Doctor,通过健康检查服务的集群日报功能,查看集群是否存在资源浪费;通过任务评分倒排Top N,找到资源浪费最多的作业进行优化;通过持续优化,帮助客户最大化利用资源,避免浪费。同时,还可以帮助客户提前发现一些风险并进行处理。EMR Studio,提供Notebook和Workflow服务。全托管Notebook,兼容 用户Jupyter使用习惯,可以无缝对接EMR各计算、存储引擎,进行交互式的大数据开发和调试,已经开发和调试完的作业可以加入Workflow工作流里进行调度和上线。此外EMR Studio的Workflow服务也还支持Flink等的作业。

2022年6月,阿里云EMR联合 OSS、 DLF、DataWorks等构建的云原生数据湖产品方案通过信通院评测认证,是国内首批且唯一满分的产品方案,该方案为用户提供“全托管湖存储、全面湖加速、统一湖管理、多模态湖计算和智能湖治理”等全面数据湖能力。(国内首批!阿里云云原生数据湖产品通过信通院评测认证)

国内知名广告营销服务商汇量科技已使用EMR产品4年。在业务快速增长的大好形势下,汇量科技面临越来越多的困扰:如数据来源复杂、数据量大、数据维度多、实时运营业务秒级数据新鲜度需求等业务需求;本次升级后,汇量科技在素材平台、热力引擎等业务的大数据平台搭建上,数据同步和及查询效率有数倍提升,系统稳定性显著提升,未再出现之前cpu、mem、io负载高等情况。

随着阿里云EMR2.0的发布,阿里云EMR将技术引领优势,转化为云上产品服务能力。重新定义的新一代 EMR 产品,将为各行业广大客户构建开源大数据平台提供最扎实的基座保障。

本站部分文章来自互联网,文章版权归原作者所有。如有疑问请联系QQ:362580117!

相关文章

腾讯业内首发数字孪生云,四大核心技术加速万物孪生

腾讯业内首发数字孪生云,四大核心技术加速万物孪生

数字技术和实体产业融合演进,跨时空连接带来了数实融合全新体验,数字孪生正日益在产业转型深化阶段发挥重要作用。 2022年12月1日,腾讯在数字...

腾讯丁珂谈企业安全面临三大变量,要正视变化、掌握变化

腾讯丁珂谈企业安全面临三大变量,要正视变化、掌握变化

80年代个人电脑开始在全世界售卖时,除了军事、政府或科研用途的系统,没人觉得安全会是一个基本组件。然而,随着90年代早期互联网开始席卷世界,情...

智能网联下一步,数字钥匙迎来「云」起点

智能网联下一步,数字钥匙迎来「云」起点

智能汽车领域从来不缺革新者。 2017年,特斯拉Model 3取消了实体钥匙,仅配备NFC卡片钥匙以及手机蓝牙钥匙,通过蓝牙钥匙无需点触即可...

市房产市场综合管理服务中心走访贝壳杭州站

市房产市场综合管理服务中心走访贝壳杭州站

11月2日下午,杭州市房产市场综合管理服务中心一行莅临贝壳杭州站走访调研,深入了解企业发展状况,贝壳浙皖区域总经理周颖携新房事业部总经理程...

国网信通股份中电启明星一款流程机器人上线

国网信通股份中电启明星一款流程机器人上线

 5月17日,由国网信通股份中电启明星研发的“采购需求计划批量录入”流程机器人上线,并在国网信通产业集团本部及所属的25家单位全面推广应用。 国网信通股份中电启明星打造“小喔”软...

智慧社区平台能带来什么?有什么功能版块?

智慧社区平台能带来什么?有什么功能版块?

社区居民参与度不高,对社区的认同感较差,获得感、幸福感与安全感不足,这些都是社区建设中的痛点难点,如何打造会思考、有温度的新型绿色智慧社区成...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。