数据采集工程师--python (MJ001002)
食亨(上海)科技服务有限公司
- 公司规模:500-1000人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2020-12-13
- 工作地点:上海-虹口区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.5-3万/月
- 职位类别:数据采集工程师
职位描述
负责:
1.设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作
2.参与爬虫核心算法和策略优化,熟悉采集系统的调度策略
3.配合数仓对数据进行ETL工作
4.实时监控爬虫的进度和警报反馈
要求:
1.熟悉Linux系统,掌握Python/Golang语言中的一种或多种;
2.熟悉scrapy/scrapy-redis框架,或熟悉别的分布式爬虫方案并有过大规模线上采集的经验,并能独立设计定制化要求的爬虫中间件;
3.熟悉爬虫原理,熟悉常见的反爬技术,面对线上突发的反爬升级有快速分析能力并能选择合适的备案
4.掌握http协议,熟悉html、xpath等常见的数据抽取技术
5.熟悉Redis,Mysql等常用数据库,能熟练运用消息中间件,如kafka
6.有自驱力,对开源爬虫框架有深入研究或有成熟自研分布式框架设计者优先
7.统招双一流及以上学历
职能类别:数据采集工程师
公司介绍
食亨是中国外卖代运营标杆服务商,大数据领军企业,正在为超过1400个国内外餐饮及新零售品牌的数万家门店提供综合解决方案,服务网络覆盖全国240+城市。食亨斥资数千万自主建设"i食亨"信息中心,日均处理超15亿条数据,针对运营细节问题实现秒级响应处理。成立2年内,食亨获红杉资本、高榕资本、软银亚洲基金等***资本持续助力。
食亨提供全国餐饮企业线上外卖平台咨询、培训运营和维护。其中包括饿了么,美团外卖等第三方外卖餐饮交易平台。作为大数据驱动的运营服务商,食亨拥有强大的数据库及运营监控系统,为品牌建立数据及分析能力。从一体化的精细化代运营服务,给予餐饮企业品牌优良、专业、高效的服务体验。 实现品牌线上交易额体量长期稳定增长。
食亨在发展的过程中积累了各个品类的产品逻辑、消费者行为习惯、外卖平台规则的海量数据,基于大数据分析,精准高效地执行运营动作,成功地为品牌精确引流和提升营收,协助品牌在保证合理毛利率的情况下显著提升外卖的销量、客户体验、品牌知名度。
食亨提供全国餐饮企业线上外卖平台咨询、培训运营和维护。其中包括饿了么,美团外卖等第三方外卖餐饮交易平台。作为大数据驱动的运营服务商,食亨拥有强大的数据库及运营监控系统,为品牌建立数据及分析能力。从一体化的精细化代运营服务,给予餐饮企业品牌优良、专业、高效的服务体验。 实现品牌线上交易额体量长期稳定增长。
食亨在发展的过程中积累了各个品类的产品逻辑、消费者行为习惯、外卖平台规则的海量数据,基于大数据分析,精准高效地执行运营动作,成功地为品牌精确引流和提升营收,协助品牌在保证合理毛利率的情况下显著提升外卖的销量、客户体验、品牌知名度。
联系方式
- 公司地址:地址:span北京市朝阳区望京方恒国际中心