崗位職責(zé)：
1、數(shù)據(jù)采集與處理
1.1設(shè)計并開發(fā)高效穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，完成多電商平臺數(shù)據(jù)抓取任務(wù)；
1.2對采集到的原始數(shù)據(jù)進行清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量符合業(yè)務(wù)需求；
1.3優(yōu)化數(shù)據(jù)存儲方案，將處理后的數(shù)據(jù)高效入庫至MySQL、MongoDB、Redis等數(shù)據(jù)庫。
2、反爬策略與突破
2.1分析目標(biāo)網(wǎng)站的反爬機制，制定針對性突破方案；
2.2運用機器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)（如模擬用戶行為）提升反爬能化水平；
2.3持續(xù)跟蹤平臺反爬策略更新，動態(tài)調(diào)整爬蟲邏輯以保障數(shù)據(jù)采集穩(wěn)定性。
3、系統(tǒng)架構(gòu)與性能優(yōu)化
3.1參與分布式爬蟲架構(gòu)設(shè)計，合理分配任務(wù)調(diào)度，提升系統(tǒng)擴展性與并發(fā)處理能力；
3.2監(jiān)控爬蟲運行狀態(tài)，優(yōu)化網(wǎng)絡(luò)請求策略、資源利用率等關(guān)鍵指標(biāo)，解決性能瓶頸問題；
3.3編寫技術(shù)文檔，包括系統(tǒng)設(shè)計、反爬策略、數(shù)據(jù)處理流程等，為團隊提供技術(shù)支撐。
4、技術(shù)協(xié)作與支持
4.1與產(chǎn)品、業(yè)務(wù)團隊緊密協(xié)作，確保爬蟲系統(tǒng)與業(yè)務(wù)需求無縫對接；
4.2為團隊提供技術(shù)指導(dǎo)，分享反爬經(jīng)驗與工具鏈，推動整體技術(shù)能力提升。
任職要求：
1、學(xué)歷與經(jīng)驗
1.1本科及以上學(xué)歷，計算機科學(xué)、軟件工程等相關(guān)專業(yè)優(yōu)先；
1.2三年以上爬蟲開發(fā)經(jīng)驗，熟悉大規(guī)模數(shù)據(jù)采集項目全流程。
2、技術(shù)能力
2.1編程語言：精通 Python ，熟悉 Node.js 、Java 等至少一門后端語言；
2.2爬蟲框架：具備框架定制能力；
2.3反爬技術(shù)：掌握 IP 代理池、驗證碼破解、JS逆向分析、逆向抓取等技術(shù)；
2.4數(shù)據(jù)處理：熟悉 Pandas、NumPy 等庫，具備TB級數(shù)據(jù)清洗、去重、分類經(jīng)驗；
2.5數(shù)據(jù)庫：精通 MySQL、MongoDB等數(shù)據(jù)庫操作與優(yōu)化，能設(shè)計高效數(shù)據(jù)存儲方案。
3、軟技能
3.1具備良好的邏輯思維能力與問題解決能力，能獨立分析并解決復(fù)雜技術(shù)問題；
3.2擁有強烈的團隊合作精神，善于溝通協(xié)作，能適應(yīng)快節(jié)奏的項目開發(fā)節(jié)奏；
3.3對新技術(shù)保持好奇心，持續(xù)學(xué)習(xí)反爬策略與數(shù)據(jù)采集領(lǐng)域的前沿技術(shù)?！竟ぷ鲿r間】8：30-12：00；13：30-18：00， 周末單雙休；
【員工餐】中餐5葷3素1湯（伙食費150元/月），如需加班公司提供免費晚餐，早餐自理；
【員工宿舍】免費入住2人間，水電費均攤，配有衛(wèi)生間、wifi、洗衣機、熱水器、空調(diào)、廚房；
【福利】：五險、全勤獎、工齡工資、13薪、帶薪年假、生日會、集體旅游、戶外運動、下午茶、外住房補、節(jié)日禮品等。