職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
工作職責:
1、負責數(shù)據(jù)爬蟲系統(tǒng)的設計和開發(fā)工作,能應對各種網(wǎng)站的反爬機制,順利爬取數(shù)據(jù);
2、負責數(shù)據(jù)爬取、解析、清洗、入庫等工作;
3、幫助團隊解決各種爬蟲技術(shù)問題,提升海量數(shù)據(jù)系統(tǒng)的抓取效果與性能。
任職資格:
1、本科及以上學歷,熟練使用python,并掌握常用的信息抽取工具,如正則表達式、Xpath等;
2、熟悉JavaScript、html、css、并能夠通過調(diào)試網(wǎng)頁代碼搜索請求地址并進行模擬;
3、熟悉常用反爬機制并能夠進行破解;
4、熟悉常用的IP代理訪問方式;
5、熟悉多線程、網(wǎng)絡編程以及分布式爬蟲架構(gòu)開發(fā)場景;
6、了解大數(shù)據(jù)技術(shù)如hadoop、spark等。
工作地點
地址:深圳福田區(qū)深圳平安金融中心
![](http://img.jrzp.com/jrzpfile/rcw/SearchJob/images/jg.png)
![](https://img.jrzp.com/images_server/comm/nan.png)
職位發(fā)布者
HR
中國平安人壽保險股份有限公司
![](http://img.jrzp.com/jrzpfile/rcw/images/sfrz_yrz.png)
-
保險
-
500-999人
-
股份制企業(yè)
-
紅專路政六街豫新大樓
相似職位
-
大客戶部長/專員 15000-45000元江南區(qū) 應屆畢業(yè)生 大專雙胞胎(集團)股份有限公司
-
室內(nèi)車險續(xù)保精英坐席(五險一金/周末雙休/勞動合同) 面議江南區(qū) 應屆畢業(yè)生 不限陽光財產(chǎn)保險股份有限公司
-
飲料業(yè)務員-就近安排(包食宿) 8000-12000元江南區(qū) 應屆畢業(yè)生 不限廣州醇鮮然乳業(yè)有限公司
-
自主營銷人員 6000-12000元江南區(qū) 應屆畢業(yè)生 本科寶勝科技創(chuàng)新股份有限公司
-
吳圩食品廠招聘臨時工一天165 4000-5000元江南區(qū) 應屆畢業(yè)生 不限廣西謙盾人力資源有限公司
-
生產(chǎn)車間班長 4000-6000元江南區(qū) 應屆畢業(yè)生 大專南寧八菱科技股份有限公司