崗位職責(zé)：
1、負(fù)責(zé)爬蟲(chóng)相關(guān)技術(shù)的研究，編碼、維護(hù)工作。
2、負(fù)責(zé)現(xiàn)有部分python、scrapy爬蟲(chóng)的完善、維護(hù)工作。
3、根據(jù)需求，負(fù)責(zé)新的爬蟲(chóng)軟件的設(shè)計(jì)、開(kāi)發(fā)、維護(hù)工作。
4、負(fù)責(zé)爬蟲(chóng)相關(guān)技術(shù)的研究和實(shí)現(xiàn)工作、比如分布式爬蟲(chóng)、驗(yàn)證碼破解、反爬機(jī)制的研究等等。
職位要求：
1、熟練使用python，熟悉Linux系統(tǒng)環(huán)境、命令，shell腳本編寫；
2、熟悉主流爬蟲(chóng)相關(guān)技術(shù)和框架，如scrapy、selenium、playwright等，具有一定的網(wǎng)絡(luò)爬蟲(chóng)相關(guān)的編程經(jīng)驗(yàn)；
3、有反爬經(jīng)驗(yàn)，可以處理代理、驗(yàn)證碼等常見(jiàn)反爬措施；
4、熟悉常見(jiàn)數(shù)據(jù)庫(kù)如mysql、redis等的使用；
5、熟悉web網(wǎng)頁(yè)相關(guān)技術(shù)，如html、js、ajax等，有開(kāi)發(fā)js爬蟲(chóng)或?yàn)g覽器插件(基于js)經(jīng)驗(yàn)；
6、掌握pandas、numpy等數(shù)據(jù)分析技術(shù)，了解flask框架的基本使用;
7、熱衷于產(chǎn)品研發(fā)和技術(shù)發(fā)展，有較強(qiáng)的邏輯思維能力，溝通表達(dá)能力，對(duì)爬蟲(chóng)、數(shù)據(jù)分析及挖掘有濃厚興趣。