崗位職責(zé)：
1、使用 Python 及相關(guān)生態(tài)庫(kù)（如Scrapy, Requests, Selennium, Playwright等）設(shè)計(jì)、開(kāi)發(fā)和維護(hù)穩(wěn)定可靠的分布式爬蟲(chóng)系統(tǒng)， targeting 主流電商平臺(tái)（如淘寶/天貓、京東、拼多多、抖音電商、小紅書(shū)等）。
2、自動(dòng)化輔助：在遇到復(fù)雜反爬策略（如驗(yàn)證碼、行為檢測(cè)、高強(qiáng)度加密）時(shí)，能夠運(yùn)用 影刀 或 AirTest 等RPA工具作為有效補(bǔ)充方案，構(gòu)建混合型自動(dòng)化采集流程，確保數(shù)據(jù)獲取的成功率與穩(wěn)定性。
3、數(shù)據(jù)處理：對(duì)原始數(shù)據(jù)進(jìn)行清洗、去重、解析、轉(zhuǎn)換和校驗(yàn)，利用 Pandas, NumPy 等工具進(jìn)行數(shù)據(jù)治理，確保數(shù)據(jù)質(zhì)量和可用性。
4、數(shù)據(jù)存儲(chǔ)：將處理后的數(shù)據(jù)高效存儲(chǔ)到數(shù)據(jù)庫(kù)（如 MySQL, PostgreSQL, MongoDB, Redis 等）中，并進(jìn)行合理的表結(jié)構(gòu)設(shè)計(jì)和索引優(yōu)化。
5、運(yùn)維監(jiān)控：維護(hù)數(shù)據(jù)采集流程的日常穩(wěn)定運(yùn)行，編寫(xiě)監(jiān)控腳本，及時(shí)排查和解決因平臺(tái)策略變更、系統(tǒng)環(huán)境等問(wèn)題導(dǎo)致的故障。
6、技術(shù)文檔：撰寫(xiě)清晰的技術(shù)設(shè)計(jì)、流程說(shuō)明及API文檔，保證代碼和項(xiàng)目的可維護(hù)性。
崗位要求：
1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，3-5年以上Python開(kāi)發(fā)經(jīng)驗(yàn)。
2、精通Python編程，有扎實(shí)的編程基礎(chǔ)，熟悉常用數(shù)據(jù)結(jié)構(gòu)、算法和設(shè)計(jì)模式。
3、具備豐富的網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)，熟練掌握至少一種主流爬蟲(chóng)框架（如Scrapy），能獨(dú)立處理常見(jiàn)反爬機(jī)制。
4、有RPA工具（如 影刀、AirTest、UiPath等）的實(shí)際項(xiàng)目應(yīng)用經(jīng)驗(yàn)，理解其與代碼開(kāi)發(fā)的互補(bǔ)關(guān)系。
5、熟練掌握數(shù)據(jù)清洗和分析的常用庫(kù)，如 Pandas。
6、熟悉數(shù)據(jù)庫(kù)技術(shù)，能熟練編寫(xiě)和優(yōu)化SQL語(yǔ)句，有MySQL等關(guān)系型數(shù)據(jù)庫(kù)的使用和設(shè)計(jì)經(jīng)驗(yàn)。
7、熟悉Web前端基礎(chǔ)（HTML, CSS, JavaScript, Ajax）和網(wǎng)絡(luò)協(xié)議（HTTP/HTTPS），精通瀏覽器開(kāi)發(fā)者工具的使用。