崗位職責(zé)：
1. 負(fù)責(zé)海外電商平臺數(shù)據(jù)抓取處理（采集、清洗、入庫全流程）
2. 參與爬蟲系統(tǒng)開發(fā)與優(yōu)化，搭建高可用數(shù)據(jù)采集體系
3. 協(xié)調(diào)產(chǎn)品/運(yùn)營團(tuán)隊推進(jìn)項目落地，把控開發(fā)進(jìn)度與質(zhì)量
4. 編寫規(guī)范技術(shù)文檔，設(shè)計可復(fù)用開發(fā)模塊
5. 快速適應(yīng)業(yè)務(wù)需求變化，承擔(dān)專項技術(shù)攻堅
6.設(shè)計智能代理池+動態(tài)IP切換策略,解決目標(biāo)網(wǎng)站IP封鎖問題,爬蟲穩(wěn)定性提升至99%。
7.基于Scrapy-Redis開發(fā)境外電商促銷信息爬蟲框架,支持Amazon、eBayShopify等20+電商平臺,日均抓取數(shù)據(jù)500萬+條。
任職要求：
1. 計算機(jī)相關(guān)專業(yè)
2. 精通Python，熟悉Scrapy框架及反爬破解策略
3. 具備MySQL/Redis實戰(zhàn)經(jīng)驗，熟悉Linux開發(fā)環(huán)境，Scrapy-Redis+ Kafka + Spark Streaming
4. 有IP代理/驗證碼破解等反反爬實戰(zhàn)能力者優(yōu)先
5. 邏輯清晰+抗壓強(qiáng)+自驅(qū)力強(qiáng)，具備技術(shù)文檔撰寫能力
6.實現(xiàn)Cloudflare反爬繞過,支持自動更新Cookie+UserAgent，優(yōu)化數(shù)據(jù)流,入庫延遲<1分鐘。