崗位職責(zé)：
1.熟悉python語(yǔ)言，熟悉常用庫(kù)如PySpider, BeautifuISoup, Scrapy, pandas等
2.理解并能運(yùn)用多線程/進(jìn)程、異步編程提升效率;3.深入理解HTTP協(xié)議及其變種，掌握RESTfuI API調(diào)用;
4.熟練掌握HTML/CSS/JavaScript，了解前端渲染邏輯;
5.掌握常見反爬措施及應(yīng)對(duì)方案，如驗(yàn)證碼識(shí)別(滑塊、極驗(yàn))、動(dòng)態(tài)IP切換、User-Agent偽裝等,
6.有JS及APP逆向經(jīng)驗(yàn),包括代碼反混淆、Hook 調(diào)試(如 Frida、Xposed)、加密算法還原(如JSVMPAES)，熟悉主流抓包工具(Charles、Fiddler)
7.熟悉SQL語(yǔ)言，具備MySQL、PostgreSQL等關(guān)系型數(shù)據(jù)庫(kù)經(jīng)驗(yàn);了解非關(guān)系型數(shù)據(jù)庫(kù)(MongoDB,Redis)的基本操作;
8.對(duì)大語(yǔ)言模型,知識(shí)工程有一定了解,
9.掌握Git版本控制系統(tǒng)，有良好的代碼管理習(xí)慣;具備良好的問題解決能力與團(tuán)隊(duì)協(xié)作精神，能獨(dú)立分析并解決復(fù)雜技術(shù)難題，適應(yīng)快速迭代的工作節(jié)奏。

任職要求：
1.設(shè)計(jì)并實(shí)現(xiàn)穩(wěn)定高效的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，用于抓取互聯(lián)網(wǎng)上的公開數(shù)據(jù):
2.分析目標(biāo)網(wǎng)站結(jié)構(gòu)，開發(fā)針對(duì)性策略以應(yīng)對(duì)反爬機(jī)制:
3.使用代理池、驗(yàn)證碼識(shí)別、模擬瀏覽器等技術(shù)手段提高數(shù)據(jù)抓取成功率;
4.確保所有數(shù)據(jù)收集活動(dòng)遵守相關(guān)法律法規(guī)及網(wǎng)站使用條款;
5.維護(hù)和優(yōu)化爬蟲系統(tǒng)，確保其適應(yīng)不斷變化的目標(biāo)站點(diǎn);
6.配合團(tuán)隊(duì)成員，將抓取的數(shù)據(jù)無縫集成至公司內(nèi)部的數(shù)據(jù)管道;
7.對(duì)爬取的數(shù)據(jù)進(jìn)行初步清洗、去重、格式化處理,
8.開發(fā)自動(dòng)化腳本完成數(shù)據(jù)解析、轉(zhuǎn)換、歸一化工作;
9.構(gòu)建ETL流程，確保數(shù)據(jù)準(zhǔn)確無誤地加載到數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù):
10.負(fù)責(zé)數(shù)據(jù)的質(zhì)量控制，包括但不限于檢測(cè)異常值、填充缺失數(shù)據(jù)等，