數(shù)據(jù)平臺方向
崗位職責(zé)：
1. 負責(zé)公司內(nèi)部爬蟲系統(tǒng)平臺的開發(fā)與維護，設(shè)計和實現(xiàn)高性能，高并發(fā)的分布式爬蟲系統(tǒng)，支持大規(guī)模數(shù)據(jù)采集。
2. 參與系統(tǒng)的可觀測性建設(shè)，基于主流監(jiān)控工具（如 Prometheus、Grafana）實現(xiàn)日志、性能監(jiān)控和故障分析，提升系統(tǒng)穩(wěn)定性和可維護性。
3. 參與數(shù)據(jù)處理流程的開發(fā)，優(yōu)化數(shù)據(jù)處理與存儲流程，確保數(shù)據(jù)的高效性和可靠性。
4. 參與開發(fā)和對接三方平臺API以及多端數(shù)據(jù)采集。

任職要求

1. 大學(xué)本科學(xué)歷，計算機相關(guān)專業(yè)，3年以上后端開發(fā)經(jīng)驗，熟練使用 Python 進行服務(wù)端開發(fā)。
2. 熟練使用 Django 和 DRF 開發(fā) RESTful API，熟悉 Celery 和 RabbitMQ 的異步任務(wù)處理，具備分布式系統(tǒng)開發(fā)經(jīng)驗。
3. 熟悉 MySQL、PostgreSQL、Redis 等數(shù)據(jù)庫/緩存技術(shù)，了解常見存儲引擎的原理及優(yōu)化方法。
4. 具有一定的爬蟲開發(fā)經(jīng)驗，熟悉 Requests 庫、HTTP/HTTPS 協(xié)議，了解常見反爬機制（如滑塊驗證、Cookies 認證等）。
5. 了解可觀測性相關(guān)技術(shù)（如 Prometheus，Grafana），有相關(guān)實踐經(jīng)驗者優(yōu)先。
6. 具備良好的編程習(xí)慣、問題分析與解決能力，以及優(yōu)秀的溝通和團隊協(xié)作能力。