崗位職責(zé)： 1.研發(fā)爬蟲工具?：負(fù)責(zé)業(yè)務(wù)需求的數(shù)據(jù)采集與爬取、解析處理、入庫(kù)及備份等數(shù)據(jù)工作。 2.研究Web、APP反爬策略，攻克技術(shù)難點(diǎn)，破解反爬機(jī)制，優(yōu)化爬蟲路由調(diào)度策略，同時(shí)負(fù)責(zé)反爬策略的設(shè)計(jì)及優(yōu)化； 3. 負(fù)責(zé)爬蟲核心算法的策略優(yōu)化研究，提升爬蟲抓取效率和質(zhì)量，提升數(shù)據(jù)抓取的效率和質(zhì)量； 4. 設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，解決封賬號(hào)、封IP、驗(yàn)證碼、JS加密等難點(diǎn)攻克； 5.數(shù)據(jù)清洗與整合?：對(duì)抓取到的數(shù)據(jù)進(jìn)行清洗、去重、格式化等預(yù)處理工作，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。 6.?技術(shù)研究與創(chuàng)新?：跟蹤*新的爬蟲技術(shù)、數(shù)據(jù)處理算法及GIS領(lǐng)域的發(fā)展動(dòng)態(tài)，特別是三維數(shù)據(jù)的相關(guān)技術(shù)，不斷探索并引入新技術(shù)以提升工作效率和數(shù)據(jù)質(zhì)量。 任職要求： 1. GIS、遙感、計(jì)算機(jī)、軟件工程相關(guān)專業(yè)，本科及以上學(xué)歷。 2. python基礎(chǔ)扎實(shí)，熟練掌握J(rèn)ava、C++中至少一種，有爬蟲開發(fā)經(jīng)驗(yàn)者優(yōu)先。 3. 熟練使用Scrapy、BeautifulSoup、Selenium等爬蟲框架和工具，精通爬蟲相關(guān)技術(shù)(requests/xpath/scrapy/正則表達(dá)式/驗(yàn)證碼加密處理/代理池)，熟悉js加密，了解python常見(jiàn)執(zhí)行js方法；熟悉常用反爬應(yīng)對(duì)方法,熟悉模擬器使用和爬取。 4. 熟悉地理信息相關(guān)知識(shí)，對(duì)地理信息基礎(chǔ)算法熟練掌握，深入了解GIS數(shù)據(jù)格式（如Shapefile、GeoJSON、KML、OSGB、3D Tiles等）及空間數(shù)據(jù)庫(kù)（PostGIS、SpatiaLite等）的使用。 5. 熟悉常見(jiàn)地理信息數(shù)據(jù)發(fā)布服務(wù)，如WMS、WMTS、WFS等。 6. 具備良好的數(shù)據(jù)處理能力，熟悉Pandas、NumPy、GDAL等數(shù)據(jù)處理庫(kù)，以及三維數(shù)據(jù)處理工具。 7. 具有良好的學(xué)習(xí)能力，有良好的團(tuán)隊(duì)意識(shí)及責(zé)任心，有良好的抗壓能力。