崗位描述： 1、參與特定網(wǎng)站與業(yè)務(wù)系統(tǒng)的信息數(shù)據(jù)持續(xù)化獲?。?2、根據(jù)產(chǎn)品和項(xiàng)目特點(diǎn)，設(shè)計(jì)、開(kāi)發(fā)采集系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)，提出合理的優(yōu)化方案，并負(fù)責(zé)設(shè)計(jì)和實(shí)現(xiàn)，提高數(shù)據(jù)采集效率； 3、部分零碎獨(dú)立開(kāi)發(fā)任務(wù)，包括但不限于數(shù)據(jù)清洗、數(shù)據(jù)融合、爬蟲(chóng)等； 崗位要求： 1、具備基本溝通表達(dá)能力，思路清晰，良好的文檔意識(shí)； 2、熟練Python各種技術(shù)原理，熟悉Linux開(kāi)發(fā)環(huán)境、了解Docker、Kubernetes基礎(chǔ)知識(shí)與操作； 3、熟練掌握 Scrapy、Requests、BeautifulSoup、Selenium 等主流爬蟲(chóng)框架和工具，能夠根據(jù)項(xiàng)目需求靈活選擇和使用；了解分布式爬蟲(chóng)框架（如 Scrapy-Redis 等）的設(shè)計(jì)和實(shí)現(xiàn)原理，具備分布式爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)； 4、了解代理服務(wù)器、VPN、Cookie、Session 等網(wǎng)絡(luò)技術(shù)在爬蟲(chóng)中的應(yīng)用，能夠通過(guò)合理配置繞過(guò)簡(jiǎn)單的反爬蟲(chóng)限制； 5、熟悉計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)，掌握常用數(shù)據(jù)庫(kù)使用，有MongoDB，ElasticSearch經(jīng)驗(yàn)更佳。 加分項(xiàng)： 1、參與過(guò)網(wǎng)絡(luò)安全行業(yè)相關(guān)項(xiàng)目，了解OSINT、開(kāi)源情報(bào)搜集等相關(guān)知識(shí)； 2、有JG、政府等行業(yè)項(xiàng)目經(jīng)驗(yàn)，參與過(guò)項(xiàng)目論證、原型開(kāi)發(fā)、交付驗(yàn)收等環(huán)節(jié)； 3、有個(gè)人博客或公眾號(hào)，會(huì)對(duì)工作所涉及到的知識(shí)進(jìn)行歸納、總結(jié)并輸出分享。