高级爬虫工程师 (MJ003329)
欢聚集团
- 公司规模:1000-5000人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2020-10-26
- 工作地点:广州-番禺区
- 招聘人数:2人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:2-4万/月
- 职位类别:Python开发工程师
职位描述
岗位职责:
1、负责各类电商平台和App端数据抓取和平台搭建;
2、负责对爬取数据进行分类/解析/清洗
3、负责开发高性能抓取架构,支持业务发展;
4、负责爬虫技术攻关和平台运维相关工作;
任职要求
1.计算机相关专业,有2年以上的爬虫开发经验;
2.熟悉Linux系统,熟练掌握Python,Java,Go等语言;
3.精通网页抓取原理及技术,精通正则表达式,Xpath,可以从结构化的和非结构化的数据中获取信息;
4, .有大型分布式爬虫架构经验者优先;
5. 有大数据整体建设经验者,包含外部数据采集/对接,数仓建设,实时处理经验者优先
6. .对数据敏感,具备良好的逻辑思维能力以及优秀的问题解决能力者优先;
7.在互联网反作弊、反欺诈、数据分析等方面有工作经验者优先。
8. 对大数据处理有相关经验,熟练使用Spark SQL,Hive SQL或其他数据清洗工具,有数据领域建模有经验者优先
职能类别:Python开发工程师
公司介绍
欢聚集团于 2005 年 4 月成立,是一家面向全球化的社交媒体平台,2012 年 11 月 21日在美国纳斯达克上市(NASDAQ:YY)。旗下业务覆盖直播、短视频、社交、电商、教育、金融等领域,核心产品包括 YY、BIGO LIVE、Likee、HAGO等。欢聚集团2019年3月以约22亿美元估值全资收购海外视频社交平台BIGO。
欢聚集团的核心战略是专注“全球化”和“人工智能”。一方面,我们坚定不移地展开全球化战略,加速海外布局,扩大国际影响力,使我们成为世界领先的视频社交平台公司。另一方面,全面转型成为以人工智能技术为核心的公司。以用户需求为导向,以人工智能技术赋能,为用户创造更加多元化的场景和更加愉悦的体验。
目前集团员工超过 7000 人,65%为研发人员。我们的使命是“以视频内容,连接你我,丰富生活”。我们旨在通过不断打磨自身的技术优势,成为一个中国互联网界极具特色的全球化企业。
欢聚集团的核心战略是专注“全球化”和“人工智能”。一方面,我们坚定不移地展开全球化战略,加速海外布局,扩大国际影响力,使我们成为世界领先的视频社交平台公司。另一方面,全面转型成为以人工智能技术为核心的公司。以用户需求为导向,以人工智能技术赋能,为用户创造更加多元化的场景和更加愉悦的体验。
目前集团员工超过 7000 人,65%为研发人员。我们的使命是“以视频内容,连接你我,丰富生活”。我们旨在通过不断打磨自身的技术优势,成为一个中国互联网界极具特色的全球化企业。
联系方式
- 公司地址:地址:span