北京 [切换城市] 北京招聘北京互联网/电子商务/网游招聘北京互联网软件开发工程师招聘

ETL Data Engineer

智慧芽信息科技(苏州)有限公司

  • 公司规模:500-1000人
  • 公司性质:外资(非欧美)
  • 公司行业:计算机软件

职位信息

  • 发布日期:2017-01-01
  • 工作地点:上海-闸北区
  • 招聘人数:3人
  • 职位月薪:15000-19999/月
  • 职位类别:互联网软件开发工程师  

职位描述

职位描述:
工作职责
1.负责采集任务的分析及采集方案设计;
2.负责定向网站相关渠道的数据采集;
3.负责相关数据的采集、去重、清洗、分析、转换与入库;
5.完成上级安排的数据采集相关工作。

任职资格
1.两年以上python开发经验,熟悉常用的信息抓取策略;
2.熟悉信息抓取和整合技术,从结构化和非结构化的数据中获取信息;
3.熟悉正则表达式
4.熟悉Mongodb、HBase、HIVE等NoSQL数据库、Mysql数据库,了解关系型数据库优先;
5.熟悉大规模网页爬取,深度网页爬取,熟悉Scrapy、Pyspider等工具优先考虑;
6.理解http,熟悉html, DOM, xpath优先;
7.有责任心,学习能力强,良好的团队合作精神,对工作有热情;
8.本科以上学历,数学、统计学、计算机等相关专业。

职能类别: 互联网软件开发工程师

举报 分享

公司介绍

智慧芽成立于2007年,全世界员工近800多人,其中中国团队600多人,百分之七十为研发人员。我们是一家科技情报SaaS服务商,已正式跻身世界独角兽阵营。聚焦科技创新情报和知识产权信息化服务两大板块,通过机器学习、计算机视觉、自然语言处理(NLP),智慧芽为世界的科技公司、高校和科研机构、金融机构等提供大数据情报服务。
智慧芽凭借自身的研发能力和出色的产品能力,公司已经服务1万多家客户,涵盖了高校科研院所、生物、化学、汽车、新能源、通信、电子等50多个高科技行业。内陆客户包括清华大学、北京大学、中科院、中国石化、海尔、美的、小米、宁德时代、小鹏汽车、大疆、药明康德、商汤科技、华大等;国外客户包括麻省理工学院、牛津大学、陶氏化学、戴森、Spotify等。
智慧芽2021年宣布完成3亿美元的E轮融资,本轮融资由Tencent和软银愿景基金二期领投,中信资本跟投,红杉中国、顺为资本和祥峰投资等老股东继续加持,智慧芽此次融资位列SaaS领域2020年以来融资头筹。

联系方式

  • 公司地址:滨江区西兴街道西兴路2333号星澜大厦