爬虫工程师
上海连为科技有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2018-12-29
- 工作地点:上海
- 招聘人数:2人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.5-2万/月
- 职位类别:算法工程师
职位描述
n 本科以上学历,3年以上工作经验;
n 精通爬虫相关技术,如:httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等;
n 熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等;
n 熟练掌握java、python、shell语言及其生态圈;
n 精通Core Java相关知识,如:常用集合类/泛型/反射/IO/注解/多线程等,掌握常用开源框架,如:Spring、MyBatis、Spring Boot等;
n 掌握常用数据库(如:MySQL)及相应DDL/DML,熟悉索引及常规SQL调优;
n 掌握常用开发管理工具及应用服务器,如:Eclipser、Maven、Git/SVN、Tomcat、Nginx等;
n 熟悉HTTP协议,掌握HTML/CSS/JS/JQUERY/AJAX等相关知识;
n 熟悉MQ、Zookeeper、Redis等分布式和NoSQL技术;
n 了解Linux系统及Linux常用命令;
n 了解Hadoop、HBase、HDFS、KAFKA等大数据相关知识;
n 有运营商网站爬取或逆向经验优先;
公司介绍
连为科技是一家聚焦基于大数据洞察的产业互联网转型公司,与IBM、凯捷咨询等咨询和IT领军企业、上海交大等高校跨界合作,帮助传统企业实施基于大数据洞察的产业互联网转型,构建新型产业核心竞争力、加速新业务落地。
公司主要为企业提供产业互联网转型和IT整体解决方案,业务包括:
洞察大数据:提供汽车互联网大数据洞察、人工智能、大数据实施和落地等
产业互联网转型: 传统产业向互联网和互联网+的转型,商业模式设计、转型规划和实施
数字化咨询规划: 企业数字化转型规划,IT战略规划,企业架构规划,企业业务流程优化
IT实施: 企业连接服务,以大数据为主要方向的数据中心建设,企业移动解决方案
公司主要为企业提供产业互联网转型和IT整体解决方案,业务包括:
洞察大数据:提供汽车互联网大数据洞察、人工智能、大数据实施和落地等
产业互联网转型: 传统产业向互联网和互联网+的转型,商业模式设计、转型规划和实施
数字化咨询规划: 企业数字化转型规划,IT战略规划,企业架构规划,企业业务流程优化
IT实施: 企业连接服务,以大数据为主要方向的数据中心建设,企业移动解决方案
联系方式
- 公司地址:上海市闵行区 (邮编:200126)