核心職責(zé)
1、數(shù)據(jù)存儲與管理 (數(shù)據(jù)庫核心):
-負(fù)責(zé)設(shè)計、開發(fā)、部署和維護大規(guī)模分布式數(shù)據(jù)庫系統(tǒng)(如 HBase, Cassandra, ClickHouse, Druid, TiDB 等)或數(shù)據(jù)倉庫/湖倉解決方案(如 Hive, Spark SQL on HDFS/S3, Iceberg/Hudi/Delta Lake, BigQuery, Redshift 等)。
-設(shè)計和優(yōu)化數(shù)據(jù)模型、分區(qū)策略、索引以及存儲格式,確保數(shù)據(jù)的高效存儲和訪問。
2、實時數(shù)據(jù)處理 (流式計算核心):
-設(shè)計、開發(fā)和運維基于流式計算引擎 (如 Apache Flink, Apache Spark Streaming, Kafka Streams, Storm 等) 的實時數(shù)據(jù)管道。
-利用消息隊列 (如 Apache Kafka, Pulsar, RocketMQ) 構(gòu)建高效、低延遲的數(shù)據(jù)攝入和傳輸通道。
3、平臺與協(xié)作:
-參與大數(shù)據(jù)基礎(chǔ)平臺(如 Hadoop, Spark, Kubernetes 等)的搭建、優(yōu)化和日常運維支持。
-編寫高質(zhì)量、可維護、可測試的代碼(常用語言如 Java, Scala, Python, SQL)。
任職要求
1、全日制統(tǒng)招本科及以上學(xué)歷,計算機等相關(guān)專業(yè),5年以上大數(shù)據(jù)開發(fā)經(jīng)驗。
2、扎實的 Java 或 Scala 或 Python 編程基礎(chǔ)。3、精通 SQL 語言,具備復(fù)雜 SQL 編寫和深度優(yōu)化的能力。
4、深入理解數(shù)據(jù)庫原理: 熟悉關(guān)系型數(shù)據(jù)庫(如 MySQL, PostgreSQL)和至少一種主流分布式 NoSQL 數(shù)據(jù)庫 (如 HBase, Cassandra) 或MPP 分析型數(shù)據(jù)庫 (如 ClickHouse, Greenplum) 或云數(shù)倉 (如 BigQuery, Redshift, Snowflake) 的核心原理、架構(gòu)和使用。
5、深入理解流式計算: 精通至少一種主流流式計算框架 (尤其是 Apache Flink 或 Spark Streaming),理解其運行時架構(gòu)、狀態(tài)管理、容錯機制、時間窗口、水位線等核心概念。
6、熟練掌握 Apache Kafka 或其他主流消息隊列的原理、部署、優(yōu)化和使用。
7、熟悉大數(shù)據(jù)生態(tài)核心組件,如 Hadoop (HDFS, YARN), Apache Spark (Core, SQL)。
8、熟悉 Linux 操作系統(tǒng)和常用命令。
9、熟悉數(shù)據(jù)倉庫建模理論(如維度建模)。
10、電力或新能源行業(yè)從業(yè)經(jīng)驗更佳。
本招聘信息相關(guān)內(nèi)容*終以雙方所簽署的勞動合同約定內(nèi)容為準(zhǔn)
更多