崗位職責(zé)：
1.負(fù)責(zé)已開發(fā)的網(wǎng)站爬蟲服務(wù)的維護(hù)和新需求網(wǎng)站爬蟲的開發(fā)；
2.獨(dú)立解決各類網(wǎng)站的反爬措施和充分利用已有的資源達(dá)到爬取的效率；
3.深入了解現(xiàn)有爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)，根據(jù)特殊的需求對(duì)架構(gòu)做出合理地調(diào)整和改進(jìn)。
職位要求：
1.2年以上Java或者Python開發(fā)爬蟲的工作經(jīng)驗(yàn)，有扎實(shí)的Java或者Python的代碼基礎(chǔ)；
2.有豐富的網(wǎng)站爬取經(jīng)驗(yàn)，對(duì)于涉及到參數(shù)加密的，能夠獨(dú)自通過改寫js腳本或者使用Java或Python重寫加密方法實(shí)現(xiàn)（非selenium加載方式）；
3.熟悉使用mysql或Oracle數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)的操作命令；
4.熟悉使用linux系統(tǒng)，并能熟練使用常用的命令；
5.熟練使用正則表達(dá)式、Xpath、beautifulsoup等等解析工具一種或多種；
6.有開發(fā)大量App爬蟲經(jīng)驗(yàn)者優(yōu)先，有搭建大量代理機(jī)器經(jīng)驗(yàn)者優(yōu)先（非對(duì)接第三方Api），有獨(dú)自使用程序處理多種網(wǎng)站驗(yàn)證碼或者其他反爬驗(yàn)證的經(jīng)驗(yàn)者優(yōu)先（非對(duì)接第三方Api），有長(zhǎng)時(shí)間根據(jù)特殊需求改進(jìn)爬蟲框架功能和效率經(jīng)驗(yàn)者優(yōu)先，有Redis和Hbase開發(fā)經(jīng)驗(yàn)者優(yōu)先。