类SQL在实时流处理上探索及应用

郑鲁

美团  美团平台&运营技术中心  数据方向技术负责人

目前就职于美团运营技术中心架构组下,负责大数据的离线和实时数据处理及工具平台化建设;在分布式计算引擎和OLAP等方面有较多的经验。

演讲概要

目前SQL的离线数据查询及ETL处理方案已经很成熟,然而在实时数据ETL处理方向上,SQL的数据处理相对不够成熟,主要原因是因为实时统计窗口及聚合等多场景决定了SQL实现的难度,我们在实时数据处理方向上做的一些类SQL的探索,目前主要基于Flink计算引擎来实现,希望能籍此机会,分享下我们的设计思路,抛砖引玉。

听众收益

1.了解目前在实时处理引擎上的SQL实现方案对比
2.了解我们在业务数据处理中提供的趟过的坑和部分实践经验