广州 [切换城市] 广州招聘

高级爬虫工程师 (MJ003329)

欢聚集团

  • 公司规模:1000-5000人
  • 公司性质:民营公司
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2020-10-26
  • 工作地点:广州-番禺区
  • 招聘人数:2人
  • 工作经验:3-4年经验
  • 学历要求:本科
  • 职位月薪:2-4万/月
  • 职位类别:Python开发工程师

职位描述

岗位职责:

1、负责各类电商平台和App端数据抓取和平台搭建;

2、负责对爬取数据进行分类/解析/清洗

3、负责开发高性能抓取架构,支持业务发展;

4、负责爬虫技术攻关和平台运维相关工作;


任职要求


1.计算机相关专业,有2年以上的爬虫开发经验;

2.熟悉Linux系统,熟练掌握Python,Java,Go等语言;

3.精通网页抓取原理及技术,精通正则表达式,Xpath,可以从结构化的和非结构化的数据中获取信息;

4, .有大型分布式爬虫架构经验者优先;

5. 有大数据整体建设经验者,包含外部数据采集/对接,数仓建设,实时处理经验者优先

6. .对数据敏感,具备良好的逻辑思维能力以及优秀的问题解决能力者优先;

7.在互联网反作弊、反欺诈、数据分析等方面有工作经验者优先。

8. 对大数据处理有相关经验,熟练使用Spark SQL,Hive SQL或其他数据清洗工具,有数据领域建模有经验者优先

职能类别:Python开发工程师

公司介绍

    欢聚集团于 2005 年 4 月成立,是一家面向全球化的社交媒体平台,2012 年 11 月 21日在美国纳斯达克上市(NASDAQ:YY)。旗下业务覆盖直播、短视频、社交、电商、教育、金融等领域,核心产品包括 YY、BIGO LIVE、Likee、HAGO等。欢聚集团2019年3月以约22亿美元估值全资收购海外视频社交平台BIGO。
    欢聚集团的核心战略是专注“全球化”和“人工智能”。一方面,我们坚定不移地展开全球化战略,加速海外布局,扩大国际影响力,使我们成为世界领先的视频社交平台公司。另一方面,全面转型成为以人工智能技术为核心的公司。以用户需求为导向,以人工智能技术赋能,为用户创造更加多元化的场景和更加愉悦的体验。
    目前集团员工超过 7000 人,65%为研发人员。我们的使命是“以视频内容,连接你我,丰富生活”。我们旨在通过不断打磨自身的技术优势,成为一个中国互联网界极具特色的全球化企业。

联系方式

  • 公司地址:地址:span