崗位職責(zé):
1.遵循robots協(xié)議，采集互聯(lián)網(wǎng)公開的信息，滿足各類業(yè)務(wù)數(shù)據(jù)需求
1.負(fù)責(zé)設(shè)計和開發(fā)分布式爬蟲系統(tǒng)，數(shù)據(jù)采集等進行多平臺多終端信息的抓取和分析;
2.建立完整的數(shù)據(jù)獲取、解析、入庫和監(jiān)控流程，優(yōu)化系統(tǒng)瓶頸，不斷迭代完善;
3.有驗證碼識別破解、反爬封禁、分布式爬蟲架構(gòu)經(jīng)驗;
4.研究優(yōu)化算法，提升爬蟲系統(tǒng)的穩(wěn)定性和可擴展性;
5.對動態(tài)ip池分配，ip封禁容錯等方面有研究;
6.熟悉多線程、驗證碼識別、IP代理，有搭建海量代理池經(jīng)驗者優(yōu)先
7.能獨立解決實際開發(fā)過程中碰到的問題包括攻克反爬機制等
任職要求:
1.計算機、電子、數(shù)學(xué)、統(tǒng)計學(xué)等相關(guān)專業(yè)及?？埔陨蠈W(xué)歷:
2.基礎(chǔ)扎實，熟練使用python，熟悉linux對應(yīng)的開發(fā)環(huán)境
3.有python爬蟲開發(fā)經(jīng)驗
4.熟悉反扒機制 ;
5.精通爬蟲原理、熟悉scrapy、pyspider等框架;
6.熟悉mysql,Redis,nginx,elasticsearch 等數(shù)據(jù)庫
7.優(yōu)秀的分析、解決問題能力，對未知的挑戰(zhàn)性門題查滿激情
8.人品正直，有原則，有一顆奮斗拼搏的心