崗位職責
1、核心系統(tǒng)研發(fā)：主導數(shù)據(jù)中臺產(chǎn)品線架構(gòu)設計，承擔標簽系統(tǒng)、作業(yè)調(diào)度系統(tǒng)、BI報表平臺等核心模塊的迭代開發(fā)
設計高可用分布式系統(tǒng)，優(yōu)化數(shù)據(jù)處理鏈路時延，支撐日均TB級數(shù)據(jù)吞吐量
開發(fā)標準化數(shù)據(jù)接口服務，實現(xiàn)與Hadoop/Spark等大數(shù)據(jù)組件的深度集成
2、技術(shù)攻堅與優(yōu)化：重構(gòu)現(xiàn)有Python服務性能瓶頸，設計數(shù)據(jù)管道監(jiān)控體系，實現(xiàn)ETL作業(yè)異常自動告警與根因分析
3、工程體系構(gòu)建：建立微服務治理規(guī)范，完善API網(wǎng)關、熔斷降級、鏈路追蹤等基礎設施，推進容器化改造，基于Docker/K8s實現(xiàn)CI/CD自動化部署流程
4、技術(shù)賦能與協(xié)作：編寫標準化技術(shù)文檔（接口規(guī)范/API文檔/部署手冊），主導技術(shù)方案評審，與數(shù)據(jù)分析師、產(chǎn)品協(xié)作，提供數(shù)據(jù)產(chǎn)品化解決方案

任職要求

核心能力：

精通Python語言特性，熟練運用裝飾器、元類、GIL機制等高級特性進行性能優(yōu)化
掌握分布式架構(gòu)設計，熟悉Celery/RabbitMQ實現(xiàn)任務隊列，具備Redis集群調(diào)優(yōu)經(jīng)驗
深度掌握Flask/Tornado框架源碼，熟練使用SQLAlchemy實現(xiàn)ORM復雜查詢優(yōu)化
熟悉Linux內(nèi)核原理，能通過strace/perf等工具進行性能調(diào)優(yōu)

技術(shù)棧要求：
數(shù)據(jù)庫：MySQL+ Redis
大數(shù)據(jù)：Hadoop生態(tài)組件（Hive/Spark/Flink）至少熟悉1項
中間件：Nginx + Kafka
部署運維：Docker容器化+Kubernetes編排+Prometheus監(jiān)控體系

加分項：
具備數(shù)據(jù)治理經(jīng)驗，熟悉數(shù)據(jù)血緣追蹤、元數(shù)據(jù)管理方案，熟悉 Airflow 等開源項目
有實時計算平臺（Flink/Spark Streaming）開發(fā)經(jīng)驗
掌握LLM應用開發(fā)，了解LangChain/RAG技術(shù)棧