崗位職責(zé)：
1.負(fù)責(zé)設(shè)計和開發(fā)高可用、高性能的分布式爬蟲系統(tǒng)，專注于抓取全球主流電商平臺（如Amazon, eBay, Wish, Shopee, Lazada等）及獨立站的多維度數(shù)據(jù)，包括商品信息、價格、銷量、用戶評論、店鋪排名、物流政策等。
2.建立完整的數(shù)據(jù)獲取、清洗、去重、解析、入庫和監(jiān)控流程，確保海量跨國數(shù)據(jù)的準(zhǔn)確性、時效性與一致性，為市場分析、競品監(jiān)控、智能定價等業(yè)務(wù)提供核心數(shù)據(jù)支持。
3.實時監(jiān)控爬蟲系統(tǒng)的全球運行狀態(tài)，快速應(yīng)對因地域、網(wǎng)絡(luò)、平臺策略差異導(dǎo)致的各類問題（如IP封鎖、驗證碼、動態(tài)內(nèi)容加載、法律合規(guī)風(fēng)險等）。
4.深入研究海外電商平臺復(fù)雜的反爬蟲機(jī)制（如AWS Shield, Distil Networks等），設(shè)計并實施高效、隱蔽且合規(guī)的應(yīng)對策略，保障數(shù)據(jù)采集的長期穩(wěn)定。
5.根據(jù)電商業(yè)務(wù)需求，快速響應(yīng)并完成數(shù)據(jù)支持任務(wù)，為產(chǎn)品運營、競品分析等提供高質(zhì)量數(shù)據(jù)支撐，如跟蹤特定競品動態(tài)、分析新興市場趨勢、監(jiān)控渠道價格等。
6.關(guān)注數(shù)據(jù)采集的合規(guī)性，確保爬蟲行為遵守目標(biāo)網(wǎng)站的規(guī)定及國際數(shù)據(jù)隱私法規(guī)（如GDPR）。
7.具備一定的JS逆向能力，能熟練分析并處理前端加密、混淆、簽名機(jī)制（如Webpack加密、OB混淆、參數(shù)簽名等），逆向解析關(guān)鍵接口的加密邏輯，并實現(xiàn)可靠的模擬算法。

任職要求：
1.2年以上爬蟲或數(shù)據(jù)采集相關(guān)工作經(jīng)驗，計算機(jī)、軟件工程等相關(guān)專業(yè)本科及以上學(xué)歷。有跨境電商或國際化業(yè)務(wù)數(shù)據(jù)支持經(jīng)驗者優(yōu)先。
2.精通Python編程語言，熟練運用Scrapy、Selenium/Playwright、Requests等主流爬蟲框架和工具，具備處理JavaScript動態(tài)渲染頁面的豐富經(jīng)驗。
3.具備扎實的JS逆向工程能力，熟練掌握瀏覽器調(diào)試工具、Node.js、Hook技術(shù)及常用逆向工具（如Charles、Fiddler、Chrome DevTools）。
能夠獨立完成對復(fù)雜JavaScript代碼的逆向分析，還原加密參數(shù)生成邏輯，并編寫Python代碼進(jìn)行復(fù)現(xiàn)。
4.熟悉海外網(wǎng)站及電商平臺常見的反爬蟲技術(shù)，并具備成功的繞過經(jīng)驗。了解代理IP池（特別是海外高質(zhì)量代理）、用戶代理模擬等技術(shù)的實際應(yīng)用。
5.熟悉數(shù)據(jù)庫技術(shù)（如MySQL, MongoDB, Redis），能夠設(shè)計和優(yōu)化適用于海量異構(gòu)電商數(shù)據(jù)的存儲方案。
6.具備分布式系統(tǒng)開發(fā)經(jīng)驗，熟悉Docker、Kubernetes、消息隊列（如Kafka）等技術(shù)者優(yōu)先，能夠構(gòu)建可擴(kuò)展的全球化數(shù)據(jù)采集系統(tǒng)。
7.具備良好的英文文檔閱讀能力，能夠快速理解和適應(yīng)國外網(wǎng)站的技術(shù)架構(gòu)。擁有強(qiáng)烈的責(zé)任心、出色的解決問題能力和團(tuán)隊協(xié)作精神，能適應(yīng)快速變化的跨境業(yè)務(wù)需求。