崗位職責(zé)： 1、負(fù)責(zé)建立和維護(hù)開源組件相關(guān)基礎(chǔ)數(shù)據(jù)。 2、負(fù)責(zé)網(wǎng)絡(luò)采集數(shù)據(jù)，進(jìn)行多平臺信息的抓取和分析工作。 3、負(fù)責(zé)分布式爬蟲的開發(fā)及架構(gòu)設(shè)計(jì)。 4、參與可信開源服務(wù)平臺的開發(fā)與維護(hù)。 5、與團(tuán)隊(duì)合作、解決復(fù)雜數(shù)據(jù)問題，提供業(yè)務(wù)洞察。 6、領(lǐng)導(dǎo)分配的其他工作。 崗位要求： 1、大學(xué)本科以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，必須學(xué)信網(wǎng)可查。 2、熟悉搜索引擎和網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)，有相關(guān)爬蟲系統(tǒng)開發(fā)經(jīng)驗(yàn)。 3、熟悉掌握網(wǎng)頁抓取原理及技術(shù)，熟悉網(wǎng)頁解析過程，具備數(shù)據(jù)過濾、清洗、去重、結(jié)構(gòu)化導(dǎo)入經(jīng)驗(yàn)。 4、熟悉分布式爬蟲應(yīng)用和調(diào)度策略，掌握各類網(wǎng)站的反爬機(jī)制和驗(yàn)證碼機(jī)制。 5、熟練使用mysal，redis，等數(shù)據(jù)庫，有大數(shù)據(jù)處理相關(guān)開發(fā)經(jīng)驗(yàn)優(yōu)先。 6、具備良好的代碼規(guī)范和文檔編寫能力，能夠編寫清晰、可維護(hù)的代碼和相關(guān)技術(shù)文檔