一、 崗位概述
作為公司數(shù)據(jù)生態(tài)體系的核心構(gòu)建者，負(fù)責(zé)從各類外部數(shù)據(jù)源（尤其是政府公開信息平臺(tái)）中高效、穩(wěn)定、合規(guī)地采集與接入數(shù)據(jù)。需要綜合利用爬蟲技術(shù)、API接口對(duì)接等多種方式，完成數(shù)據(jù)的提取、清洗與集成，為公司的數(shù)據(jù)分析和業(yè)務(wù)應(yīng)用提供堅(jiān)實(shí)、高質(zhì)量的數(shù)據(jù)基石。
二、 崗位職責(zé)
1. 數(shù)據(jù)采集開發(fā)與實(shí)施： 獨(dú)立負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)數(shù)據(jù)采集腳本、工具及系統(tǒng)，從網(wǎng)站、API、數(shù)據(jù)庫(kù)等多種外部渠道可靠地獲取所需數(shù)據(jù)。
2. 反爬策略分析與應(yīng)對(duì)： 能夠分析并應(yīng)對(duì)目標(biāo)網(wǎng)站的反爬蟲機(jī)制（如IP限制、驗(yàn)證碼等），設(shè)計(jì)并實(shí)施相應(yīng)的解決方案（如代理IP池、請(qǐng)求調(diào)度、模擬登錄等），確保采集任務(wù)的穩(wěn)定性和高效性。
3. 數(shù)據(jù)清洗與處理： 對(duì)采集到的原始數(shù)據(jù)進(jìn)行清洗、去重、校驗(yàn)和格式化轉(zhuǎn)換等處理，確保數(shù)據(jù)的準(zhǔn)確性、一致性和可用性，為下游數(shù)據(jù)應(yīng)用提供保障。
4. 系統(tǒng)監(jiān)控與運(yùn)維保障： 建立監(jiān)控體系，持續(xù)跟蹤數(shù)據(jù)采集任務(wù)的運(yùn)行狀態(tài)與健康狀況，能夠快速定位、排查并解決鏈路中斷、數(shù)據(jù)延遲或質(zhì)量異常等故障，保障數(shù)據(jù)服務(wù)的SLA。
5. 架構(gòu)優(yōu)化與性能提升： 參與設(shè)計(jì)和優(yōu)化高可用、可擴(kuò)展的數(shù)據(jù)采集系統(tǒng)架構(gòu)，持續(xù)提升采集效率，降低延遲與資源消耗，應(yīng)對(duì)大規(guī)模數(shù)據(jù)采集場(chǎng)景。
6. 合規(guī)性與安全管理： 嚴(yán)格遵守《數(shù)據(jù)安全法》、《網(wǎng)絡(luò)安全法》及相關(guān)法律法規(guī)，遵循Robots協(xié)議，在所有數(shù)據(jù)采集活動(dòng)中貫徹合規(guī)與安全*的原則，防范法律風(fēng)險(xiǎn)。
三、 任職要求1. 必備條件：
l 教育背景： 計(jì)算機(jī)科學(xué)、信息技術(shù)、數(shù)據(jù)科學(xué)或相關(guān)專業(yè)大專及以上學(xué)歷。
l 工作經(jīng)驗(yàn)： 具備3年及以上數(shù)據(jù)采集、爬蟲開發(fā)或數(shù)據(jù)接入相關(guān)工作經(jīng)驗(yàn)。有政務(wù)數(shù)據(jù)采集經(jīng)驗(yàn)者優(yōu)先。
l 核心技術(shù)能力：
? 編程語(yǔ)言： 精通 Python 及相關(guān)生態(tài)庫(kù)（如Scrapy, Requests, BeautifulSoup, Pandas, Selenium/Playwright）。
? 爬蟲技術(shù)： 深刻理解Web前端技術(shù)（HTML/JS/CSS）、HTTP/HTTPS協(xié)議、Restful API設(shè)計(jì)原則，能熟練使用瀏覽器開發(fā)者工具進(jìn)行調(diào)試。
? 數(shù)據(jù)存儲(chǔ)與處理： 熟練使用 SQL，具備至少一種數(shù)據(jù)庫(kù)（如MySQL, PostgreSQL, MongoDB, Doris）的操作和優(yōu)化經(jīng)驗(yàn)。了解分布式計(jì)算框架（如Spark）者更佳。
? 系統(tǒng)與部署： 熟悉Linux操作系統(tǒng)及常用命令，具備腳本編寫和服務(wù)器環(huán)境部署能力。
l 合規(guī)意識(shí)： 具備強(qiáng)烈的數(shù)據(jù)安全與隱私保護(hù)意識(shí)，了解國(guó)內(nèi)外相關(guān)數(shù)據(jù)法規(guī)。
2. 優(yōu)先考慮條件：
l 有基于Scrapy-Redis/Celery等的分布式爬蟲系統(tǒng)開發(fā)與調(diào)優(yōu)經(jīng)驗(yàn)。
l 熟悉實(shí)時(shí)/離線數(shù)據(jù)接入工具與模式，如Kafka、Flink、Sqoop、DataX等。
l 具備處理復(fù)雜動(dòng)態(tài)網(wǎng)頁(yè)渲染、驗(yàn)證碼識(shí)別或應(yīng)用OCR/NLP技術(shù)解析非結(jié)構(gòu)化數(shù)據(jù)的經(jīng)驗(yàn)。
l 熟悉容器化技術(shù)（Docker/K8s）及云計(jì)算平臺(tái)（如阿里云、AWS）的相關(guān)服務(wù)。
l 具備良好的溝通能力、團(tuán)隊(duì)協(xié)作精神和主動(dòng)解決問題的能力。
l 持有華為HCIP-Big Data、阿里云ACP（大數(shù)據(jù)方向）等行業(yè)權(quán)威認(rèn)證者優(yōu)先。