一、 崗位概述
作為公司數據生態(tài)體系的核心構建者，負責從各類外部數據源（尤其是政府公開信息平臺）中高效、穩(wěn)定、合規(guī)地采集與接入數據。需要綜合利用爬蟲技術、API接口對接等多種方式，完成數據的提取、清洗與集成，為公司的數據分析和業(yè)務應用提供堅實、高質量的數據基石。
二、 崗位職責
1. 數據采集開發(fā)與實施： 獨立負責設計、開發(fā)和維護數據采集腳本、工具及系統(tǒng)，從網站、API、數據庫等多種外部渠道可靠地獲取所需數據。
2. 反爬策略分析與應對： 能夠分析并應對目標網站的反爬蟲機制（如IP限制、驗證碼等），設計并實施相應的解決方案（如代理IP池、請求調度、模擬登錄等），確保采集任務的穩(wěn)定性和高效性。
3. 數據清洗與處理： 對采集到的原始數據進行清洗、去重、校驗和格式化轉換等處理，確保數據的準確性、一致性和可用性，為下游數據應用提供保障。
4. 系統(tǒng)監(jiān)控與運維保障： 建立監(jiān)控體系，持續(xù)跟蹤數據采集任務的運行狀態(tài)與健康狀況，能夠快速定位、排查并解決鏈路中斷、數據延遲或質量異常等故障，保障數據服務的SLA。
5. 架構優(yōu)化與性能提升： 參與設計和優(yōu)化高可用、可擴展的數據采集系統(tǒng)架構，持續(xù)提升采集效率，降低延遲與資源消耗，應對大規(guī)模數據采集場景。
6. 合規(guī)性與安全管理： 嚴格遵守《數據安全法》、《網絡安全法》及相關法律法規(guī)，遵循Robots協議，在所有數據采集活動中貫徹合規(guī)與安全*的原則，防范法律風險。
三、 任職要求1. 必備條件：
l 教育背景： 計算機科學、信息技術、數據科學或相關專業(yè)大專及以上學歷。
l 工作經驗： 具備3年及以上數據采集、爬蟲開發(fā)或數據接入相關工作經驗。有政務數據采集經驗者優(yōu)先。
l 核心技術能力：
? 編程語言： 精通 Python 及相關生態(tài)庫（如Scrapy, Requests, BeautifulSoup, Pandas, Selenium/Playwright）。
? 爬蟲技術： 深刻理解Web前端技術（HTML/JS/CSS）、HTTP/HTTPS協議、Restful API設計原則，能熟練使用瀏覽器開發(fā)者工具進行調試。
? 數據存儲與處理： 熟練使用 SQL，具備至少一種數據庫（如MySQL, PostgreSQL, MongoDB, Doris）的操作和優(yōu)化經驗。了解分布式計算框架（如Spark）者更佳。
? 系統(tǒng)與部署： 熟悉Linux操作系統(tǒng)及常用命令，具備腳本編寫和服務器環(huán)境部署能力。
l 合規(guī)意識： 具備強烈的數據安全與隱私保護意識，了解國內外相關數據法規(guī)。
2. 優(yōu)先考慮條件：
l 有基于Scrapy-Redis/Celery等的分布式爬蟲系統(tǒng)開發(fā)與調優(yōu)經驗。
l 熟悉實時/離線數據接入工具與模式，如Kafka、Flink、Sqoop、DataX等。
l 具備處理復雜動態(tài)網頁渲染、驗證碼識別或應用OCR/NLP技術解析非結構化數據的經驗。
l 熟悉容器化技術（Docker/K8s）及云計算平臺（如阿里云、AWS）的相關服務。
l 具備良好的溝通能力、團隊協作精神和主動解決問題的能力。
l 持有華為HCIP-Big Data、阿里云ACP（大數據方向）等行業(yè)權威認證者優(yōu)先。