崗位職責(zé)
1.維護(hù)和優(yōu)化現(xiàn)有爬蟲系統(tǒng)，解決爬蟲運行過程中的各類異常問題，持續(xù)提升爬取效率及穩(wěn)定采集量；
2.負(fù)責(zé)設(shè)計和開發(fā)高效、穩(wěn)定的分布式爬蟲系統(tǒng)，實現(xiàn)對各類網(wǎng)站及 API 的數(shù)據(jù)采集；針對不同網(wǎng)站的反爬機(jī)制，制定并實施有效的應(yīng)對策略，包括但不限于代理池構(gòu)建、User-Agent 輪換、驗證碼識別等，保證爬蟲的持續(xù)可用率不低于 95%。
3.與數(shù)據(jù)部門、產(chǎn)品經(jīng)理等團(tuán)隊成員協(xié)作，明確數(shù)據(jù)需求，制定數(shù)據(jù)采集計劃，確保采集數(shù)據(jù)的準(zhǔn)確性和完整性；并數(shù)據(jù)規(guī)模和結(jié)構(gòu)特點，選擇合適的存儲方式（如 MySQL、MongoDB、Redis 等），并優(yōu)化存儲性能。
所需技能：
1、精通 Python 編程語言，熟練掌握面向?qū)ο缶幊趟枷?，能熟練使?Requests、BeautifulSoup、Scrapy 等爬蟲常用庫，能夠獨立開發(fā)高性能的爬蟲程序
2、熟悉 HTML、CSS、JavaScript 等前端技術(shù)，能夠解析復(fù)雜的網(wǎng)頁結(jié)構(gòu)，提取所需數(shù)據(jù)。
3、掌握至少一種關(guān)系型數(shù)據(jù)庫（如 MySQL）和一種 NoSQL 數(shù)據(jù)庫（如 MongoDB、Redis）的使用，了解其數(shù)據(jù)存儲原理和優(yōu)化方法。
4、熟悉常見的反爬機(jī)制，如 IP 封鎖、驗證碼、動態(tài)加載、請求頻率限制等，并具備相應(yīng)的解決方案實施經(jīng)驗。