发布时间:2016-03-26 10:00:02 来源:电商时代 点击:1839
罗金鹏飞快敲击键盘的节奏被电话打乱了。他接到的是一通测试报警电话,这说明数据在测试的时候可能出现了异常。他停下手中的活,立马去处理这个异常。
这就是罗金鹏每天的工作状态。他是阿里巴巴数据技术及产品部高级技术专家。像他这样从事着看似枯燥却非常重要的工作的工程师,在阿里巴巴有数千。
正是这些技术人员日复一日的谨慎小心,才保障了这个中国最大的电商平台的正常运行,使之可以实现2016财年电商交易额突破3万亿元这一里程碑式的业绩。
这些技术人员所维护的,可能是这个时代最复杂、运算量最大的系统之一。在这个系统上,大数据和云计算成为最鲜活的技术手段。包括阿里巴巴在内的所有电商平台,也是依托着这些最先进的技术不断拓展辐射的深度和广度,不断地开辟蓝海。
“今天,我们把大数据和云计算定位成一个商业的基础设施。但大数据成为新经济的石油,云计算成为新经济的引擎,真正产生成果,还需要一个过程。”阿里巴巴集团ceo张勇告诉记者。
当他们在中国这个巨大的市场和消费人群中历练过后,电商平台的技术实力,已经不仅仅能够为自己提供服务,也已具备了输出的可能性。实际上,技术的发展可以分为三步:首先是为了保障系统的运转正常;第二步,是从大数据中挖掘商业规律和价值,为商业判断提供参考;第三步,则是挖掘出大数据潜在的价值,并对外输出技术能力,用技术拓展商业的边界。
确保峰值不崩溃
技术的最基础功能是保证系统正常运行,但这对于天猫和淘宝这种日成交额动辄数十亿元的电商平台来说,并不是件简单的事。
3月21日下午14时58分37秒,阿里巴巴中国零售交易市场2016财年商品交易即时总额累计突破3万亿元。
3万亿元背后的成交高峰,出现在“双11”——当天全天交易额达912.17亿元,全天支付笔数达7.1亿笔。
如此大规模的交易量和支付量,是对技术的“大考”。而最难的“题”,则是确保峰值来临时不能崩溃。
在阿里巴巴主要的4个技术单元中,数据技术及产品部是负责将数据进行流式计算并实时呈现在媒体大屏幕上的关键团队。
在“双11”之前,这个团队与上下游技术团队共同进行了数十次大大小小的压力测试。只有通过最严苛的压力测试,才能保障“双11”期间的系统性能和稳定性。
当天00:05:01,阿里巴巴系统交易创建达到14万笔/秒的峰值;00:09:02,支付量达到8.59万笔/秒峰值。在2015年的“双11”,共有超过200家银行与支付宝共同支撑了支付洪峰。
这是什么概念?visa在实验室测试的支付峰值是5.6万笔/秒,实际支付峰值是1.4万笔/秒;而mastercard实验室测试的支付峰值是4万笔/秒。
从历史数据来看,2015年的交易峰值,是2014年“双11”交易峰值3.85万笔/秒的2.23倍。而相比2009年的首届“双11”,订单创建峰值增长了350倍,支付峰值增长了430倍。
从“坐车”到“造车”
2008年,中国的电子商务开始了井喷式发展。
在驶入快车道的同时,阿里巴巴也敏锐地意识到它可能会面临的瓶颈——其购买的软硬件已经不能满足交易的高速增长,因为当时的数据规模已经超过了全球传统软硬件巨头的技术极限。
一个更大的背景,是阿里巴巴it发展策略的变更:从依赖“商业软件”,到拥抱“开源软件”,转而靠自主创新,提升技术研发实力。
而这一变化,始于2008年王坚加入阿里巴巴。
“成本降低是我们投入技术研发最先能够看到的,因为购买许可是非常贵的。但更重要的原因在于,以ioe为代表的传统it企业架构,无法满足互联网业务的极速扩张,约束了企业长远的发展。”王坚总结道。
在王坚看来,直面这一前所未有的挑战,最好的解决方式是采用云计算。2009年,王坚牵头成立了阿里云。阿里云的代表作之一便是超级计算引擎maxcompute(原名odps)。2013年底,这一工具已经开始支撑包括淘宝、天猫、支付宝、菜鸟等电商平台所有的大数据业务。
不过,所有的新生事物都非一帆风顺,研发自有技术难度之大超乎想象,并且从一出生就在与外部的pk中残酷成长。阿里云大数据专家李淼告诉记者,在2010-2011年,与业界开源产品hadoop相比,它三四个小时就能做完的,maxcompute可能需要近30个小时,毫无优势。而现在,maxcompute比hadoop系统的处理速度要快数倍。2015年“双11”之前不久,maxcompute参加了排序基准评估竞赛sortbenchmark,把100tb数据的排序时间缩短到了377秒,而此前的纪录是1406秒。maxcompute获得4项世界冠军。