崗位職責(zé)：
負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)高效、穩(wěn)定的 Python 爬蟲程序，針對(duì)國(guó)際合法公開網(wǎng)站進(jìn)行數(shù)據(jù)采集工作。
研究目標(biāo)國(guó)際網(wǎng)站的結(jié)構(gòu)和反爬機(jī)制，制定合理的爬取策略，確保爬取過(guò)程的順暢與合規(guī)，解決爬取過(guò)程中遇到的各類技術(shù)問題，如 IP 封鎖、驗(yàn)證碼識(shí)別等。
對(duì)爬取到的數(shù)據(jù)進(jìn)行清洗、整理和存儲(chǔ)，保證數(shù)據(jù)的準(zhǔn)確性、完整性和安全性。
與團(tuán)隊(duì)成員緊密協(xié)作，根據(jù)業(yè)務(wù)需求，及時(shí)調(diào)整爬蟲策略和數(shù)據(jù)采集范圍，為業(yè)務(wù)決策提供數(shù)據(jù)支持。
關(guān)注國(guó)際數(shù)據(jù)相關(guān)法律法規(guī)及目標(biāo)網(wǎng)站的 Robots 協(xié)議，確保爬蟲工作嚴(yán)格遵守相關(guān)規(guī)定，規(guī)避法律風(fēng)險(xiǎn)。

任職要求：
本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，[5] 年以上 Python 爬蟲開發(fā)經(jīng)驗(yàn)，具備豐富的國(guó)際合法公開網(wǎng)站爬取經(jīng)驗(yàn)。
熟練掌握 Python 編程語(yǔ)言，精通 Scrapy、PySpider 等主流爬蟲框架，以及 Requests、BeautifulSoup、Selenium 等相關(guān)庫(kù)的使用。
熟悉 HTTP/HTTPS 協(xié)議，了解常見的網(wǎng)絡(luò)請(qǐng)求方式和數(shù)據(jù)傳輸格式，如 JSON、XML 等。
具備良好的反爬技術(shù)應(yīng)對(duì)能力，熟悉代理 IP、Cookie 池、User-Agent 偽裝等反爬策略的實(shí)現(xiàn)。
熟悉至少一種數(shù)據(jù)庫(kù)，如 MySQL、MongoDB 等，能夠熟練進(jìn)行數(shù)據(jù)的存儲(chǔ)和查詢操作。
了解國(guó)際數(shù)據(jù)相關(guān)法律法規(guī)（如歐盟 GDPR、美國(guó) CFAA 等）以及目標(biāo)網(wǎng)站的 Robots 協(xié)議，有數(shù)據(jù)合規(guī)處理意識(shí)和經(jīng)驗(yàn)。
具備良好的問題分析和解決能力、溝通協(xié)調(diào)能力以及團(tuán)隊(duì)合作精神，工作積極主動(dòng)，有責(zé)任心。

薪資面議。

本公司堅(jiān)決遵守國(guó)家法律法規(guī)及國(guó)際相關(guān)規(guī)定，僅接受通過(guò)合法途徑（如官方 API、公開授權(quán)接口等）進(jìn)行國(guó)際網(wǎng)站數(shù)據(jù)獲取的經(jīng)驗(yàn)。
應(yīng)聘者需確保所提供的項(xiàng)目經(jīng)驗(yàn)真實(shí)、合法，面試過(guò)程中我們將對(duì)相關(guān)細(xì)節(jié)進(jìn)行核實(shí)。
入職后，員工需嚴(yán)格按照公司規(guī)定和相關(guān)法律法規(guī)開展爬蟲工作，公司會(huì)提供必要的資源和支持以保障工作的合規(guī)性。
期待您的加入，與我們一起在合法合規(guī)的前提下，挖掘數(shù)據(jù)的價(jià)值，共創(chuàng)美好未來(lái)！