崗位職責(zé)
1.負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)
2.負(fù)責(zé)海量數(shù)據(jù)的爬取、清洗、解析、入庫(kù)；
3.針對(duì)需要的數(shù)據(jù)，尋找網(wǎng)站或app內(nèi)可用的接口
4.研究主流網(wǎng)站和app反爬機(jī)制，尋找應(yīng)對(duì)方案；
5.不斷的學(xué)習(xí)研究行業(yè)新技術(shù)，提升業(yè)務(wù)能力，并作團(tuán)隊(duì)分享
6.負(fù)責(zé)js、Android、IOS應(yīng)用的逆向工作，能正向還原關(guān)鍵算法（ 高階）
崗位要求
1.大專及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)；
2.熟悉linux開(kāi)發(fā)環(huán)境，熟練掌握java或python編程語(yǔ)言，熟悉js語(yǔ)言；
3.熟練掌握http協(xié)議，xpath、csspath、正則表達(dá)式，有使用scrapy經(jīng)驗(yàn)優(yōu)先；
4.有redis、rabbitmq、kafka使用經(jīng)驗(yàn)；
5.熟悉selenium或Puppeteerr，appium或airtest；
6.熟悉常用反爬手段及其對(duì)應(yīng)方法、技巧；
7.有良好的責(zé)任心、溝通能力、學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作精神；
8.熟悉常用js防護(hù)手段及其對(duì)應(yīng)的分析、調(diào)試技巧優(yōu)先；
9.熟悉Android或IOS逆向技術(shù)優(yōu)先；