类SQL在实时流处理上探索及应用

案例来源:美团
会议地点:深圳
分享时间: 2018-11-23 15:50-16:50

郑鲁 

美团 数据方向技术负责人

目前就职于美团运营技术中心架构组下,负责大数据的离线和实时数据处理及工具平台化建设;在分布式计算引擎和OLAP等方面有较多的经验。

课程概要

目前SQL的离线数据查询及ETL处理方案已经很成熟,然而在实时数据ETL处理方向上,SQL的数据处理相对不够成熟,主要原因是因为实时统计窗口及聚合等多场景决定了SQL实现的难度,我们在实时数据处理方向上做的一些类SQL的探索,目前主要基于Flink计算引擎来实现,希望能籍此机会,分享下我们的设计思路,抛砖引玉。

听众收益

郑鲁 

美团
数据方向技术负责人

目前就职于美团运营技术中心架构组下,负责大数据的离线和实时数据处理及工具平台化建设;在分布式计算引擎和OLAP等方面有较多的经验。

课程概要

目前SQL的离线数据查询及ETL处理方案已经很成熟,然而在实时数据ETL处理方向上,SQL的数据处理相对不够成熟,主要原因是因为实时统计窗口及聚合等多场景决定了SQL实现的难度,我们在实时数据处理方向上做的一些类SQL的探索,目前主要基于Flink计算引擎来实现,希望能籍此机会,分享下我们的设计思路,抛砖引玉。

听众收益

CopyRight © 2008-2019 Msup & 高可用架构