高级爬虫工程师(java)
北京千里马网信科技有限公司
- 公司规模:500-1000人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-07-07
- 工作地点:北京-海淀区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.5-2.2万/月
- 职位类别:高级软件工程师 系统架构设计师
职位描述
职位描述:
【岗位职责】
1、参与核心爬虫系统架构设计、数据库设计;
2、负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
3、探索爬虫系统的技术趋势,持续对爬虫架构进行优化设计和性能提升;
4、负责ETL数据清洗、数据处理的工作
【任职要求】
1、本科以上学历,五年以上JAVA开发经验,三年爬虫经验(最近),熟练掌握Linux系统下JAVA编程和调试;
2、熟悉SpringMVC、Hibernate、Jquery、BookStrap等开源框架;
3、熟悉分布式爬虫,熟练使用Htmlunit、Jsoup、PhantomJs等爬虫工具框架,熟悉正则、XPath、CSS Selector等Web信息提取技术;
4、熟练掌握MySQL,熟悉NoSQL(Redis、MongoDB),熟悉消息队列技术;
5、掌握Webmagic、Hadoop(HDFS/MapReduce/Hive)、Spark、HBase、Storm等优先;
6、对多线程有深刻理解;熟悉JS、AJAX、HTTP协议、TCP协议;
7、具备良好的沟通能力、对数据的渴望、敏锐的判断、坚韧不拔、团队精神
举报
分享
【岗位职责】
1、参与核心爬虫系统架构设计、数据库设计;
2、负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
3、探索爬虫系统的技术趋势,持续对爬虫架构进行优化设计和性能提升;
4、负责ETL数据清洗、数据处理的工作
【任职要求】
1、本科以上学历,五年以上JAVA开发经验,三年爬虫经验(最近),熟练掌握Linux系统下JAVA编程和调试;
2、熟悉SpringMVC、Hibernate、Jquery、BookStrap等开源框架;
3、熟悉分布式爬虫,熟练使用Htmlunit、Jsoup、PhantomJs等爬虫工具框架,熟悉正则、XPath、CSS Selector等Web信息提取技术;
4、熟练掌握MySQL,熟悉NoSQL(Redis、MongoDB),熟悉消息队列技术;
5、掌握Webmagic、Hadoop(HDFS/MapReduce/Hive)、Spark、HBase、Storm等优先;
6、对多线程有深刻理解;熟悉JS、AJAX、HTTP协议、TCP协议;
7、具备良好的沟通能力、对数据的渴望、敏锐的判断、坚韧不拔、团队精神
职能类别: 高级软件工程师 系统架构设计师
公司介绍
千里马招标网提供覆盖设备招标、工程招标、服务招标和政府采购等领域的各类标讯,以及丰富的专业资讯,更新量、时效性和准确性在同类网站中首屈一指。
千里商机,一马即达!
北京销售面试上班地址:上地十街盈创动力A座南厅8层(西二旗地铁(A2口出)斜对面 010-59464760
北京总部地址:海淀区上地2街2号龙泉湖写字楼3层 010-59464753
武汉分部地址:洪山区光谷总部国际二期时代2栋18层1802室 027-59620715
千里商机,一马即达!
北京销售面试上班地址:上地十街盈创动力A座南厅8层(西二旗地铁(A2口出)斜对面 010-59464760
北京总部地址:海淀区上地2街2号龙泉湖写字楼3层 010-59464753
武汉分部地址:洪山区光谷总部国际二期时代2栋18层1802室 027-59620715
联系方式
- 公司地址:地址:上地十街盈创动力A座南厅8层(西二旗地铁(A2口出)斜对面 010-59464760