Python爬虫工程师
消费者报道杂志社有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:影视/媒体/艺术/文化传播
职位信息
- 发布日期:2024-09-29
- 工作地点:广州·天河区
- 工作经验:2年及以上
- 学历要求:本科
- 职位月薪:8千-1.2万
- 职位类别:数据库工程师/管理员 嵌入式软件开发(Linux/单片机/DLC/DSP…) 电信网络工程师 CNC工程师 计算机软件
职位描述
公司简介:
《消费者报道》杂志社创建于1998年,是中国内地率先采用商品和服务对比测评、研究商品评价体系的专业机构,多年来专注并坚持在市场消费现象、行业服务及消费维权方面进行深入的研究、分析和应用,持续向公众传播科学消费与责任消费的理念,目前已形成全媒体、研究中心、数据中心三位一体的调研架构,为政府部门、社会组织、企业和消费者提供全面、科学、权威的调研和资讯服务。这里很纯粹,就是做事的地方——我们热衷于解决问题。
正选数据中心是消费者报道旗下独立事业部。2018年起,团队吸收了来自广东省重点电子政务项目“粤省事”、“营商环境”的技术骨干,专注于研发面向各行业垂直领域的大数据、算法、应用软件产品,先后研发上线了产品质量监测与分析系统、企业信用风险模型管理系统、企业生产销售产品库等,在各领域已逐步实现常态化、主题化、智能化的数据应用场景。本次python爬虫工程师岗位为正选数据中心招聘岗位。
岗位职责:
1、负责分布式网络数据采集系统及数据库的设计与开发;
2、设计数据采集策略和防屏蔽规则,解决封账号、封IP、验证码等技术问题;
3、维护和优化已有数据采集服务;
4、负责数据采集服务核心算法的策略优化研究,充分利用资源,提升网页抓取的效率和质量。
6、与团队其他人员高效沟通合作完成团队目标;
7、完成上级交办的其他工作任务。
任职要求:
1、本科及以上学历,2年及以上工作经验,计算机软件相关专业,具有扎实的操作系统、网络、数据库相关基础知识;
2、熟练掌握python多进程、多线程、协程、网络编程;
3、熟悉Linux操作系统,熟练使用常用命令;熟练掌握MySQL、MongDB、Redis开发经验者优先;
4、精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术,从结构化的和非结构化的数据中获取信息;熟悉Scrapy、Pyppeteer、Selenium、playwright等爬虫框架/工具中的一种或多种;
5、了解常用验证码识别技术,熟悉行为验证码识别、模拟登陆,熟悉各种反爬机制和解决措施;
6、对经手的工作理解深入,有团队观念,具备独立解决问题的能力,善于学习提升。
《消费者报道》杂志社创建于1998年,是中国内地率先采用商品和服务对比测评、研究商品评价体系的专业机构,多年来专注并坚持在市场消费现象、行业服务及消费维权方面进行深入的研究、分析和应用,持续向公众传播科学消费与责任消费的理念,目前已形成全媒体、研究中心、数据中心三位一体的调研架构,为政府部门、社会组织、企业和消费者提供全面、科学、权威的调研和资讯服务。这里很纯粹,就是做事的地方——我们热衷于解决问题。
正选数据中心是消费者报道旗下独立事业部。2018年起,团队吸收了来自广东省重点电子政务项目“粤省事”、“营商环境”的技术骨干,专注于研发面向各行业垂直领域的大数据、算法、应用软件产品,先后研发上线了产品质量监测与分析系统、企业信用风险模型管理系统、企业生产销售产品库等,在各领域已逐步实现常态化、主题化、智能化的数据应用场景。本次python爬虫工程师岗位为正选数据中心招聘岗位。
岗位职责:
1、负责分布式网络数据采集系统及数据库的设计与开发;
2、设计数据采集策略和防屏蔽规则,解决封账号、封IP、验证码等技术问题;
3、维护和优化已有数据采集服务;
4、负责数据采集服务核心算法的策略优化研究,充分利用资源,提升网页抓取的效率和质量。
6、与团队其他人员高效沟通合作完成团队目标;
7、完成上级交办的其他工作任务。
任职要求:
1、本科及以上学历,2年及以上工作经验,计算机软件相关专业,具有扎实的操作系统、网络、数据库相关基础知识;
2、熟练掌握python多进程、多线程、协程、网络编程;
3、熟悉Linux操作系统,熟练使用常用命令;熟练掌握MySQL、MongDB、Redis开发经验者优先;
4、精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术,从结构化的和非结构化的数据中获取信息;熟悉Scrapy、Pyppeteer、Selenium、playwright等爬虫框架/工具中的一种或多种;
5、了解常用验证码识别技术,熟悉行为验证码识别、模拟登陆,熟悉各种反爬机制和解决措施;
6、对经手的工作理解深入,有团队观念,具备独立解决问题的能力,善于学习提升。
公司介绍
《消费者报道》杂志社创建于1998年,是中国内地率先采用商品和服务对比测评、研究商品评价体系的专业机构,多年来专注并坚持在市场消费现象、行业服务及消费维权方面进行深入的研究、分析和应用,持续向公众传播科学消费与责任消费的理念,目前已形成全媒体、研究中心、数据中心三位一体的调研架构,为政府部门、社会组织、企业和消费者提供全面、科学、权威的调研和资讯服务。这里很纯粹,就是做事的地方——我们热衷于思考如何解决问题。
加入我们将享有以下工作条件:
1、21年业务稳健发展,2020年更是迎来一波新发展
2、分布式数据库引擎技术培训及项目应用参与机会
3、基本待遇外另有奖金,工作结果导向
4、APM黄埔大道地铁口,交通方便。地铁口附近是花城汇,公司门前屋后有各种餐饮服务,午饭口味任君挑选
5、各种其他福利
加入我们将享有以下工作条件:
1、21年业务稳健发展,2020年更是迎来一波新发展
2、分布式数据库引擎技术培训及项目应用参与机会
3、基本待遇外另有奖金,工作结果导向
4、APM黄埔大道地铁口,交通方便。地铁口附近是花城汇,公司门前屋后有各种餐饮服务,午饭口味任君挑选
5、各种其他福利
联系方式
- Email:114776463@qq.com
- 公司地址:黄埔大道路163号富星商贸大厦5层JKL单元