崗位職責：
1.精通網(wǎng)頁抓取原理及技術(shù)，能解決各種復(fù)雜的反爬技術(shù)；
2.須3年以上工作經(jīng)驗，能夠解決封賬號、IP驗證等問題，解決網(wǎng)頁抓取、信息抽取等問題；
3.熟悉Selenium、Scrapy、Flaskapi等技術(shù)，熟悉網(wǎng)頁抓取原理及技術(shù)，能夠總結(jié)分析不同網(wǎng)站，網(wǎng)頁的結(jié)構(gòu)特點及規(guī)律，熟悉HTML、JS、正則、XPath或jQuery等，從結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中解析數(shù)據(jù)，熟悉Mysql、Redis、Nosql等數(shù)據(jù)庫；
4.熟悉并熟練應(yīng)用各種常見加密算法；
5.有爬取過電商數(shù)據(jù)優(yōu)先考慮
6.有較強的學(xué)習能力和良好的編程習慣
7.有高并發(fā)、千萬級別及以上的數(shù)據(jù)采集經(jīng)驗者 優(yōu)先
8、能力優(yōu)秀者，薪資無上限，具體薪資可面議；