上海 [切换城市] 上海招聘

大数据开发工程师

上海棕榈电脑系统有限公司

  • 公司规模:150-500人
  • 公司性质:合资(非欧美)
  • 公司行业:互联网/电子商务  计算机软件

职位信息

  • 发布日期:2017-04-14
  • 工作地点:上海-浦东新区
  • 招聘人数:1人
  • 学历要求:本科
  • 职位月薪:1.5-2万/月
  • 职位类别:算法工程师  

职位描述

职位描述:
工作内容:
1、参与爬虫系统的架构设计与开发;
2、负责数据订阅平台(舆情系统)的设计和开发,并对几千家媒体信息的抓取、整理和分析;
3、ETL相关工作,并为分析师提供数据支持
4、参与研究模型算法,数据挖掘及自然语言处理的工作。

工作职责:
1、参与爬虫系统的架构设计与开发;
2、负责设计和开发多平台信息的抓取和分析;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、负责数据检索系统的开发和维护;
5、用脚本或程序对大规模数据进行处理和分析。

任职要求:
1、熟悉linux平台操作,有2年以上Python开发经验;
2、熟悉信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;
3、熟悉Mysql,redis,mongdb三者至少之一
4、有nutch+hbase,heritrix,webmagic抓取经验或者分布式抓取经验者优先;
5、有自然语言处理和数据挖掘相关经验的优先;

职能类别: 算法工程师

关键字: 大数据开发 数据库 爬虫 算法

举报 分享

公司介绍

金棕榈企业机构
Goldpalm Holding
关于我们
金棕榈企业机构成立于1992年,公司总部坐落于上海静安市北高新技术园区,作为旅游行业大数据的领先者、智慧旅游平台的运营商,我们始终走在旅游互联网的最前端。
金棕榈(上海)网络科技有限公司作为金棕榈企业机构核心互联网企业,多年来坚持创新、高速发展,与携程、国家旅游局、印尼旅游局、各大旅游高校等建立合作关系,致力于打造业内最大的B2B2C第三方数据服务平台。
加入金棕榈,不断接近您的职业梦想
2010年,国务院将旅游业确定为战略性支柱产业,旅游业被誉为永不衰落的朝阳产业,中国旅游业的巨大潜力正在爆发。作为旅游行业第三方平台服务企业,金棕榈有着23年的旅游行业信息化建设经验,目前员工达百人,服务于250余个省级/地方旅游局、5000余家旅行社、4000余万游客。
加入金棕榈,拥有畅通的职业上升通道
作为旅游行业互联网企业,金棕榈有着朝气蓬勃的年轻团队,我们不断创新、不断突破,金棕榈始终秉持着不拘一格降人才的用人理念,因此,我们的团队中最年轻的高层80后、最年轻的总监85后、最年轻的经理90后。
加入金棕榈,感受更多的归属感
在金棕榈,我们坚信“创新后创薪,聚才后聚财”,产品创新的一次鼓励、成功项目的一次分享大会、部门不分你我的一次聚餐。在金棕榈,你可以直接推开总经理的办公室门,展示你最大胆的理念,在金棕榈,你可以随时向同仁发表你最激情的设想。
加入金棕榈,您所得到的绝不仅是薪资
我们包括但不限于薪资、期权、项目奖励、社会保险、住房公积金、交通补贴、带薪年假、员工拓展、旅游福利、活动经费、健康关怀、节日关怀等。

联系方式

  • 公司地址:上班地址:北京市朝阳区大屯里317号楼金泉时代大厦1号楼1621-1622