崗位職責(zé): 1、爬蟲系統(tǒng)開發(fā):設(shè)計并開發(fā)高效、穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，確保數(shù)據(jù)準(zhǔn)確性和完整性。 2、系統(tǒng)優(yōu)化:優(yōu)化爬蟲抓取策略與調(diào)度策略，維護(hù)現(xiàn)有系統(tǒng)，提升抓取速度與數(shù)據(jù)質(zhì)量。 3、數(shù)據(jù)處理:負(fù)責(zé)數(shù)據(jù)采集、解析、清洗、入庫及統(tǒng)計工作。 4、系統(tǒng)監(jiān)控:監(jiān)控爬蟲運(yùn)行狀態(tài)，及時處理異常， 確保系統(tǒng)穩(wěn)定性。崗位要求: 1、教育背景:計算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)、電氣工程或相關(guān)領(lǐng)本科及以上學(xué)歷；2、技術(shù)能力:熟練使Python，掌握Scrapy、 BeautifulSoup、Selenium等框架。 3、網(wǎng)絡(luò)協(xié)議與反爬蟲:熟悉HTTP/HTTPS協(xié)議， 能解決封IP、驗證碼、JS逆向等反爬蟲問題。 4、數(shù)據(jù)存儲與處理:熟悉MySQL、Redis等工具。 5、網(wǎng)頁抓取技術(shù):精通網(wǎng)頁抓取原理與正則表達(dá)式，能從結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)中提取信息。6、有能源、電力領(lǐng)域經(jīng)驗者優(yōu)先。