崗位職責(zé)：

1、與業(yè)務(wù)團(tuán)隊(duì)溝通，明確爬蟲項(xiàng)目的目標(biāo)和需求，確定要抓取的數(shù)據(jù)范圍、格式和用途，為產(chǎn)品業(yè)務(wù)提供數(shù)據(jù)支持。

2、編寫高效、穩(wěn)定的 Python 爬蟲代碼，挖掘并整合外部第三方數(shù)據(jù)，并對(duì)抓取到的數(shù)據(jù)進(jìn)行的清洗和整理，增強(qiáng)數(shù)據(jù)分析的廣度與深度；

3、優(yōu)化爬蟲程序的性能，提高抓取速度和效率；

4、建立和完善公司內(nèi)部的知識(shí)圖譜體系，提高數(shù)據(jù)的可訪問性和價(jià)值。



任職資格：

1、本科及以上，數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等相關(guān)專業(yè)優(yōu)先，擁有5年以上金融或科技行業(yè)的相關(guān)工作經(jīng)驗(yàn)。

2、精通python語言，具備扎實(shí)的編程功底，具有良好的程序設(shè)計(jì)能力；

3、精通爬蟲原理，精通Scrapy、pyspider等主流爬蟲框架框架；具有RPA項(xiàng)目經(jīng)驗(yàn)；

4、精通常用的反扒技術(shù)，對(duì)互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式熟悉，知道如何處理需登錄網(wǎng)站、動(dòng)態(tài)網(wǎng)頁等各種情況下的數(shù)據(jù)采集方法。

5、熟悉常見ip限制、滑塊、UA限制、驗(yàn)證碼反爬、登錄限制、headers認(rèn)證和cookie限制等反爬套路及破解方法，且有實(shí)際經(jīng)驗(yàn)；

6、熟練使用MySQL、MongoDB，熟悉Hadoop、ElasticSearch等技術(shù)；

7、熟練使用Pandas, NumPy等進(jìn)行數(shù)據(jù)清洗、處理，提供數(shù)據(jù)服務(wù)以及數(shù)據(jù)管理；

8、能獨(dú)立完成爬蟲系統(tǒng)的搭建和運(yùn)維。