Gientech-FlinkSQL开发平台平台#

目的意义#

(1) 降低流式作业开发门槛高#

业务开发人员和程序人员对流任务的开发在技能上有不重叠的情况。业务开发人员对业务熟悉，但对流式任务开发中涉及到保证容错的checkpoint，savepoint，保证准确的watermark，状态编程，各种connecter组件等领域知识有所欠缺。#

(2) 应对业务变化多样#

尤其是面对甲方复杂多变的业务需求，如果都是程序开发人员和我公司业务人员配合共同完成的话，不仅效率低，而且知识技能也会有局限#

所以这块任务适宜独立整合出来，作为通用的功能存在。#

互联网公司目前现状#

当前在中大型的互联网公司内部，像字节跳动，网易云音乐，Bigo等都有类似功能的处理平台的建设实践。功能开发重点各有所侧重，有的是在FlinkSQL的基础上进行的上层封装，聚焦在好用，有的是在FlinkSQL本身进行功能的扩展和优化，并建立上层封装。但整体而言，都会开放sql的编写本身个业务人员，程序开发人员专注与flink的封装和底层优化工作，做到合理的协作。#

阿里内部平台的样例截图#

gientech-flinksql的样例截图#

主要内容#

我们的FlinkSQL开发平台的主要功能有:#

1. 任务支持单流，双流，单流和维表join#

2. 支持sql在线开发，语法提示，sql语句校验。#

3. 支持本地，yarn，standalone任务提交。#

4. 连接器兼容官方连接器。#

5. 支持任务的启停。#

6. 支持日志的在线展示。#

创新点#

整合当前主流的前后端和大数据计算技术，包括前端vue+elementUI+coremirror,后端springboot+hibernate-jpa,以及主流的流处理框架flink。#

推广应用前景#

业务开发人员对sql的掌握以及对自身业务的理解很到位，FlinkSQL开发处理平台，可以帮助业务开发人员很好的把业务往流处理上进行提升。降低了流任务的开发门槛。并且该平台本身也可以在sql开发的核心功能点的基础上，进行衍生开发，包括实时ETL开发，OLAP在线实时查询，血缘管理，数据治理管理等。#