【工作職責(zé)】
1、負(fù)責(zé)公司大規(guī)模數(shù)據(jù)采集系統(tǒng)的開發(fā)，設(shè)計整體技術(shù)方案及實施規(guī)范；
2、獨立完成新功能新模塊的開發(fā)，研究新技術(shù)以不斷滿足新的產(chǎn)品需求；
3、與技術(shù)團(tuán)隊進(jìn)行溝通，快速響應(yīng)各種臨時爬蟲需求；
4、持續(xù)提升輸出產(chǎn)品的質(zhì)量、性能和穩(wěn)定性并進(jìn)行優(yōu)化；

【任職基本要求】
1、全日制本科及以上學(xué)歷，計算機(jī)或通信相關(guān)專業(yè)；
2、熟練使用python開發(fā)語言，具備較強(qiáng)的代碼設(shè)計優(yōu)化能力，有一定的架構(gòu)思維；
3、三年以上爬蟲相關(guān)開發(fā)經(jīng)驗，熟練掌握scrapy等爬蟲開發(fā)框架，熟練掌握至少一種web框架，如Django/Flask等；
4、具備獨立的反爬解決能力，如字體解密，驗證碼破解，js逆向破解，請求指紋破解等；
5、熟練掌握常用的數(shù)據(jù)庫，如mysql，mongodb，redis等，具備數(shù)據(jù)庫使用優(yōu)化能力；
6、熟練掌握常用的消息隊列，如rocketMq，rabbitMq，kafka等，對使用場景有較強(qiáng)的認(rèn)知；
7、熟練使用xpath、css選擇器、正則等解析模塊一種或多種，有數(shù)據(jù)清洗的能力；
8、熟練掌握git版本管理工具，有良好的代碼規(guī)范與代碼優(yōu)化能力；
9、有較強(qiáng)的學(xué)習(xí)能力和技術(shù)鉆研能力，積極主動，思維靈活開放，有良好的溝通能力；

【具備以下者優(yōu)先】
1、基于scrapy二次開發(fā)過高性能爬蟲框架，有架構(gòu)思維及落地能力；
2、基于web自動化等方式對較高難度的采集源有實際破解采集經(jīng)驗；
3、參與過大規(guī)模數(shù)據(jù)采集的項目，對大規(guī)模數(shù)據(jù)采集有優(yōu)化經(jīng)驗；