【崗位描述】
1.負(fù)責(zé)公司指定數(shù)據(jù)源采集需求，滿足公司對(duì)多源數(shù)據(jù)采集要求；
2.負(fù)責(zé)優(yōu)化采集策略，進(jìn)行多平臺(tái)信息的采集和清洗；
3.負(fù)責(zé)內(nèi)部數(shù)據(jù)管理平臺(tái)規(guī)劃和建設(shè)，完成數(shù)據(jù)采集與解析處理、入庫(kù)等數(shù)據(jù)日常工作；
4.積極主動(dòng)思考探索爬蟲在實(shí)際業(yè)務(wù)中的價(jià)值，參與設(shè)計(jì)數(shù)據(jù)有效利用策略，從數(shù)據(jù)合理性、完整性角度提供建議；
5.負(fù)責(zé)數(shù)據(jù)采集策略優(yōu)化，提升數(shù)據(jù)抓取的效率和質(zhì)量；
6.設(shè)計(jì)數(shù)據(jù)采集規(guī)則，解決數(shù)據(jù)采集清洗中的難點(diǎn)問(wèn)題；
7.對(duì)抓取后的數(shù)據(jù)進(jìn)行清洗、存儲(chǔ)等；并持續(xù)優(yōu)化平臺(tái)，以便滿足各種數(shù)據(jù)采集業(yè)務(wù)需求。

【任職要求】
1.計(jì)算機(jī)、信息管理、自動(dòng)化、數(shù)學(xué)等相關(guān)專業(yè)，本科及以上學(xué)歷，5年以上相關(guān)工作經(jīng)驗(yàn)；
2.熟悉主流爬蟲工具，或熟悉python及其相關(guān)分布式數(shù)據(jù)采集框架；熟練掌握SQL、ETL數(shù)據(jù)處理開發(fā)工作；
3.熟練使用數(shù)據(jù)庫(kù)。熟悉數(shù)據(jù)庫(kù)原理，SQL常見問(wèn)題和調(diào)優(yōu)，數(shù)據(jù)庫(kù)服務(wù)器管理等；熟悉數(shù)據(jù)清洗相關(guān)概念和方法；
4.工作態(tài)度細(xì)致、耐心。對(duì)數(shù)據(jù)敏感；對(duì)技術(shù)充滿好奇心。愛(ài)發(fā)現(xiàn)、肯鉆研，能深入；
5.有超強(qiáng)的自我驅(qū)動(dòng)力和主觀能動(dòng)性，良好的團(tuán)隊(duì)意識(shí)。