崗位職責(zé)：
1、 負(fù)責(zé)公司產(chǎn)品線的技術(shù)棧的選型和完善, 負(fù)責(zé)關(guān)鍵技術(shù)架構(gòu)和核心模塊的開發(fā)實(shí)現(xiàn);
2、 參與公司項(xiàng)目的架構(gòu)設(shè)計(jì)、研發(fā)、編程工作；
3、 設(shè)計(jì)公司業(yè)務(wù)執(zhí)行策略和防屏蔽規(guī)則，提升數(shù)據(jù)抓取執(zhí)行的效率和質(zhì)量, 并對(duì)策略持續(xù)優(yōu)化；
4、負(fù)責(zé)架構(gòu)設(shè)計(jì)相關(guān)的技術(shù)攻關(guān)。

任職要求：
1、5年以上爬蟲開發(fā)經(jīng)驗(yàn)，熟悉掌握 python語言；
2、熟悉Python和常用的開源庫，熟練使用Django/Flask等至少一種主流的web開發(fā)框架；
3、熟悉Mysql，mongoDB， Redis，Es，隊(duì)列等數(shù)據(jù)庫的使用和優(yōu)化；
4、對(duì)進(jìn)程、線程、協(xié)程、異步、非阻塞有一定了解和使用
5、對(duì)linux系統(tǒng)基礎(chǔ)知識(shí)及原理有深入了解，能獨(dú)立完成日常部署更新等 ；
6、熟悉爬蟲主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一種）。
7、熟悉應(yīng)用IP代理池、Headers認(rèn)證和Cookie等；
8、有分布式爬蟲、反爬機(jī)制經(jīng)驗(yàn)者優(yōu)先
9、熟悉js逆向，js破解優(yōu)先考慮
10、有參與實(shí)時(shí)監(jiān)控爬蟲的進(jìn)度和警報(bào)反饋系統(tǒng)的優(yōu)先考慮。
11、具備全棧開發(fā)能力優(yōu)先考慮。