崗位職責(zé)：
設(shè)計(jì)和開(kāi)發(fā)高效，可擴(kuò)展的數(shù)據(jù)爬蟲系統(tǒng)，以收集、清洗和整合網(wǎng)絡(luò)上的大規(guī)模數(shù)據(jù)。
負(fù)責(zé)研究和分析網(wǎng)絡(luò)資源，制定有效的數(shù)據(jù)抓取策略。
能夠處理反爬蟲策略，包括但不限于IP代理、驗(yàn)證碼識(shí)別等。
提供數(shù)據(jù)結(jié)果，支持?jǐn)?shù)據(jù)分析和機(jī)器學(xué)習(xí)等后續(xù)步驟。
與數(shù)據(jù)科學(xué)家、業(yè)務(wù)分析師和其他開(kāi)發(fā)人員緊密合作，理解并滿足他們的數(shù)據(jù)需求。
關(guān)注并應(yīng)用一般的Web安全實(shí)踐，尊重目標(biāo)網(wǎng)站的Robot.txt指引。
崗位要求：
本科及以上學(xué)歷
精通Python等至少一種程序語(yǔ)言，具有使用Scrapy，BeautifulSoup等爬蟲工具的經(jīng)驗(yàn)。
理解HTML，CSS，JavaScript及Web瀏覽器DOM結(jié)構(gòu)。
熟悉網(wǎng)絡(luò)爬蟲技術(shù)，包括動(dòng)態(tài)頁(yè)面抓取、反封鎖/IP代理等。
對(duì)大數(shù)據(jù)處理和存儲(chǔ)有一定的了解和實(shí)踐，比如Hadoop，Spark，MongoDB等。
具備良好的問(wèn)題解決能力，能獨(dú)立處理問(wèn)題，并有持續(xù)學(xué)習(xí)和自我提升的動(dòng)力。
對(duì)數(shù)據(jù)抓取的合法性、道德性等有深厚的理解，能制定和遵循嚴(yán)格的數(shù)據(jù)抓取原則。