|
|
51CTO旗下网站
|
|
移动端

新浪微博廖博:WAIC实时流计算平台的成长和繁衍

随着新浪微博业务的不断推进,对数据处理的实时性要求越来越高。例如,大家所熟悉的微博热词,需要在很短的时间内完成数据处理以供在线系统使用。WAIC实时流计算平台为新浪微博提供可靠的毫秒级和秒级实时数据处理服务,通过提供统一的数据源和配置化接入方式,帮助提高新浪微博实时作业的开发效率,降低部门开发与运营的成本。

作者:查士加来源:51CTO|2018-05-16 14:04

【51CTO.com原创稿件】七年一剑,华丽蜕变。自2012年起连续6年15场峰会,凝聚大量技术专家,博观而约取,厚积而薄发。2018WOT全球软件与运维技术峰会5月18日扬帆起航,围绕12大核心热点,汇聚海内外60位一线专家,打造高端技术盛宴!

在5月19日下午的C会场“高并发与实时处理”专场中,新浪微博实时流技术平台负责人廖博将带来精彩的分享。会前,51CTO记者有幸采访到他,针对“WAIC实时流计算平台的成长和繁衍”这一主题进行了深入的交流。

随着新浪微博业务的不断推进,对数据处理的实时性要求越来越高。例如,大家所熟悉的微博热词,需要在很短的时间内完成数据处理以供在线系统使用。WAIC实时流计算平台为新浪微博提供可靠的毫秒级和秒级实时数据处理服务,通过提供统一的数据源和配置化接入方式,帮助提高新浪微博实时作业的开发效率,降低部门开发与运营的成本。

新浪微博实时流技术平台负责人廖博

廖博介绍,目前WAIC实时流计算平台经历了三个发展阶段:

  • 第一阶段,是由各种需求驱动的自由发展时期,新浪微博技术团队在这一阶段进行实时计算技术的研究和业务应用;
  • 第二阶段,随着行业的发展以及业务对实时数据处理需求的急速增加,迫切需要一个实时流计算平台来支撑快速的业务发展需求,该阶段完成了实时流计算平台的初步建设;
  • 第三阶段,是繁荣生长的阶段,包括统一监控平台、实时数据对账系统、实时数据源建设等基础设施建设,以及样本生成平台、第三方特征接入平台等各类子服务平台。

WAIC实时流计算平台用storm、kafka、scribe、flume、http、docker等较为成熟的技术进行平台构建,以统一监控平台、实时数据对账系统、实时数据源为平台基础,利用新浪自主研发的weipig开发框架进行实时计算方法的沉淀和配置化开发工具。据介绍,WAIC平台满足了新浪微博实时打标签,feed、Push等业务的实时特征生成,以及图片、音视频等多媒体文件分析的业务需求。

业内人士都知道,吞吐量和扩展性是考验实时流技术的重要标准。目前,WAIC实时流计算平台的吞吐量在40W/s左右。扩展性方面,WAIC平台采用插拔式的接入方式,只需按照规范开发相应的weibox:首先将接入方式进行抽象,制定相应的规范,需要扩展的实时集群只要按规范接入即可。

最后,廖博提到,WAIC实时流计算平台仍有一些问题尚未解决,包括实时流计算任务的统一资源调度,case统一追踪平台,多媒体分析平台,以及多机房多网络容灾。其中,前三项是新浪微博实时流技术平台下一步建设的重点。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

【编辑推荐】

  1. 麦肯锡AI笔记:解密人工智能19个行业400+用例,万亿价值在何方?
  2. 来看看人工智能AI创造的精彩“世界”
  3. 2018人工智能应用,将如何落地开花?
  4. 人工智能+区块链发展趋势及应用调研报告(附获奖名单)
  5. 京东未来十年裁员50%?关于人工智能取代就业马云也有话说
【责任编辑:查士加 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

循序渐进Oracle——数据库管理、优化与备份恢复

本书从基础知识入手,详细讨论了Oracle数据库的创建、OEM及iSQL*Plus等工具的使用、Oracle的字符集知识、用户的创建与管理、表空间和数据文...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊