神圣计划官网

2019双十一流量大考过关 流计算虽强大但仍存在短板

2019-11-15 神圣计划神圣资讯网 ambhn.com

2019年“双十一”刚过,各大电商纷纷公布当日战绩。从目前公布的数据不难看出,今年“双十一”的订单创建量峰值创下新高,单日数据处理量纪录也再次被刷新。如何扛住流量“洪峰”,是每年“双十一”的技术大考。随着流量的飙升,这一大考无疑变得越来越难。

“双十一”的数据量不仅大,还会实时变化。可以说,每个购物数据都是个性化的、动态的,完成处理它们的工作,需要有强大的计算能力作为支撑。

“今年的数据处理工作,除了批处理(对数据进行批量处理)外,还有流处理,就是实时处理数据。庞大的交易数据每分钟、每秒钟都在变,它们并不是从数据库里面统计出来的,而是系统自动一层层把它们汇集上来的。”阿里巴巴集团首席技术官张建锋表示。他口中的“流处理”就是流计算,即实时计算。对于扛住“双十一”流量“洪峰”,它功不可没。

那么,什么是流计算?它是如何抗住“双十一”流量“洪峰”的?对此,科技日报记者采访了业内专家。

神圣计划官网以内存取代硬盘实现快速处理

神圣计划官网北京理工大学计算机学院副院长、教授刘驰在接受科技日报记者采访时解释道,流计算指当一条数据被处理完后,立刻被序列化到内存中,然后通过网络传输到下一个节点,由下一个节点继续处理。“这种流式处理技术,是以内存取代硬盘的方式来实现数据快速处理,这是流计算之所以能够高效处理数据的根本原因。”他表示。

神圣计划官网据刘驰介绍,流计算具有高性能、海量式、实时性、分布式、易用性、可靠性等多项优势,主要的应用方向有,对金融与科学计算中的数据进行快速运算和分析;对存在于社交网站、电子邮件、视频、电话记录、电子感应器中的数字格式信息流进行快速处理并反馈等。

“流式处理可被用于两种不同的计算场景:事件流和持续计算。”刘驰介绍道,在事件流场景,系统会持续产生大量的数据,这类数据最早出现在银行和股票交易领域,也会在互联网监控、无线通信等领域出现。这些领域的相关业务,需要流计算技术以近乎实时的方式对数据流进行复杂分析。

神圣计划官网“而在持续计算场景,比如大型网站,流计算技术可以动态实时地刷新用户访问数据,展示网站实时流量的变化情况,分析每天各小时的流量和用户分布情况。一些需要实时处理数据的场景也能应用到流计算技术,比如对根据用户行为产生的日志文件进行实时分析,对用户进行商品的实时推荐等。”刘驰介绍道。

1 2
来源:科技日报 作者:崔 爽 编辑:神圣计划神圣资讯网
神圣计划神圣资讯网·网友评论
更多神圣资讯
鹏城神圣资讯
社会万象