上海 [切换城市] 上海招聘

爬虫工程师

上海连为科技有限公司

  • 公司规模:少于50人
  • 公司性质:民营公司
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2018-12-29
  • 工作地点:上海
  • 招聘人数:2人
  • 工作经验:3-4年经验
  • 学历要求:本科
  • 职位月薪:1.5-2万/月
  • 职位类别:算法工程师  

职位描述

n 本科以上学历,3年以上工作经验;

n 精通爬虫相关技术,如:httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等;

n 熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等;

n 熟练掌握java、python、shell语言及其生态圈;

n 精通Core Java相关知识,如:常用集合类/泛型/反射/IO/注解/多线程等,掌握常用开源框架,如:Spring、MyBatis、Spring Boot等;

n 掌握常用数据库(如:MySQL)及相应DDL/DML,熟悉索引及常规SQL调优;

n 掌握常用开发管理工具及应用服务器,如:Eclipser、Maven、Git/SVN、Tomcat、Nginx等;

n 熟悉HTTP协议,掌握HTML/CSS/JS/JQUERY/AJAX等相关知识;

n 熟悉MQ、Zookeeper、Redis等分布式和NoSQL技术;

n 了解Linux系统及Linux常用命令;

n 了解Hadoop、HBase、HDFS、KAFKA等大数据相关知识;

n 有运营商网站爬取或逆向经验优先;

职能类别: 算法工程师

关键字: 爬虫

公司介绍

连为科技是一家聚焦基于大数据洞察的产业互联网转型公司,与IBM、凯捷咨询等咨询和IT领军企业、上海交大等高校跨界合作,帮助传统企业实施基于大数据洞察的产业互联网转型,构建新型产业核心竞争力、加速新业务落地。

公司主要为企业提供产业互联网转型和IT整体解决方案,业务包括:
洞察大数据:提供汽车互联网大数据洞察、人工智能、大数据实施和落地等
产业互联网转型: 传统产业向互联网和互联网+的转型,商业模式设计、转型规划和实施
数字化咨询规划: 企业数字化转型规划,IT战略规划,企业架构规划,企业业务流程优化
IT实施: 企业连接服务,以大数据为主要方向的数据中心建设,企业移动解决方案

联系方式

  • 公司地址:上海市闵行区 (邮编:200126)