崗位職責(zé)
1. 基于 Java 技術(shù)棧進(jìn)行大數(shù)據(jù)實(shí)時(shí)計(jì)算相關(guān)系統(tǒng)的設(shè)計(jì)、開發(fā)、測試與上線，核心負(fù)責(zé)基于 Flink 的實(shí)時(shí)數(shù)據(jù)處理鏈路搭建與優(yōu)化；
2. 負(fù)責(zé) Kafka 集群的日常運(yùn)維、topic 規(guī)劃、分區(qū)優(yōu)化、消息積壓處理、吞吐量調(diào)優(yōu)，保障消息傳輸?shù)母呖捎?、高可靠?br /> 3. 參與需求評審，將業(yè)務(wù)需求轉(zhuǎn)化為技術(shù)方案，基于 Flink 實(shí)現(xiàn)數(shù)據(jù)清洗、聚合、關(guān)聯(lián)、CEP 復(fù)雜事件處理等核心業(yè)務(wù)邏輯；
4. 優(yōu)化 Flink 作業(yè)的資源配置、并行度、狀態(tài)后端checkpoint/savepoint
策略，解決數(shù)據(jù)延遲、數(shù)據(jù)一致性、作業(yè)重啟等問題；
5. 對接上下游系統(tǒng)，設(shè)計(jì)基于 Kafka 的消息收發(fā)方案，適配不同數(shù)據(jù)源
（MySQL/Redis/日志）與下游存儲（HDFS/HBase/Doris）的數(shù)據(jù)轉(zhuǎn)；
任職要求
1. 計(jì)算機(jī)相關(guān)專業(yè)，3 年及以上 Java 后端開發(fā)經(jīng)驗(yàn)，1 年及以上 Flink+Kafka
大數(shù)據(jù)實(shí)時(shí)計(jì)算項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn)；
2. 精通 Java 基礎(chǔ)語法、集合框架、并發(fā)編程、IO/NIO，熟悉 SpringBoot、
SpringCloud 等微服務(wù)框架，具備扎實(shí)的后端開發(fā)功底；3. 精通 Flink 核心原理與應(yīng)用，熟練使用 Flink DataStream/Table API，掌握
狀態(tài)管理、窗口函數(shù)、CEP、分流合流等核心功能，能獨(dú)立完成 Flink 作業(yè)開發(fā)與調(diào)優(yōu)；
4. 精通 Kafka 核心機(jī)制，熟悉生產(chǎn)者/消費(fèi)者原理、分區(qū)策略、副本機(jī)制、冪等性/事務(wù)消息、消費(fèi)者組管理，能獨(dú)立進(jìn)行 Kafka 集群問題排查與性能調(diào)優(yōu)；
5. 熟悉大數(shù)據(jù)生態(tài)相關(guān)組件（Hadoop/Hive/Doris/Redis 等），了解數(shù)據(jù)同步工具（Canal/MaxWell），具備端到端數(shù)據(jù)鏈路設(shè)計(jì)能力；
6. 具備良好的問題排查能力，能快速定位并解決線上 Flink 作業(yè)異常、Kafka消息積壓/丟失、數(shù)據(jù)一致性等問題；
7. 熟悉 BES/華為 MRS 等信創(chuàng)組件優(yōu)先。
3. 精通 Flink 核心原理與應(yīng)用，熟練使用 Flink DataStream/Table API，掌握狀態(tài)管理、窗口函數(shù)、CEP、分流合流等核心功能，能獨(dú)立完成 Flink 作業(yè)開發(fā)與調(diào)優(yōu)；
4. 精通 Kafka 核心機(jī)制，熟悉生產(chǎn)者/消費(fèi)者原理、分區(qū)策略、副本機(jī)制、冪等性/事務(wù)消息、消費(fèi)者組管理，能獨(dú)立進(jìn)行 Kafka 集群問題排查與性能調(diào)優(yōu)；
5. 熟悉大數(shù)據(jù)生態(tài)相關(guān)組件（Hadoop/Hive/Doris/Redis 等），了解數(shù)據(jù)同步工具（Canal/MaxWell），具備端到端數(shù)據(jù)鏈路設(shè)計(jì)能力；
6. 具備良好的問題排查能力，能快速定位并解決線上 Flink 作業(yè)異常、Kafka消息積壓/丟失、數(shù)據(jù)一致性等問題；
7. 熟悉 BES/華為 MRS 等信創(chuàng)組件優(yōu)先。
項(xiàng)目: 天梯系統(tǒng)信創(chuàng)改造上云項(xiàng)目