爬虫工程师
艾瑞咨询集团
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:专业服务(咨询、人力资源、财会)
职位信息
- 发布日期:2019-02-19
- 工作地点:广州-天河区
- 招聘人数:1人
- 工作经验:1年经验
- 学历要求:本科
- 职位月薪:0.8-1万/月
- 职位类别:高级软件工程师
职位描述
职责描述:
1、基于公司内部采集框架,进行模板配置、爬虫程序开发;
2、维护内部的爬虫代码,确保项目数据的准确性与完整性;
3、支撑业务项目和产品的数据抓取需求,参与开发和扩展新的数据源;
4、改进现有爬虫系统,设计和优化爬虫策略,提升爬虫抓取效率与稳定性;
5、负责封账号、封IP、验证码等反爬虫技术难点的攻克。
任职要求:
1、全日制本科及以上学历,计算机相关专业;
2、熟悉http协议,了解常见header、状态码,了解Ajax请求;
3、扎实的Python基础,两年以上Python爬虫项目开发经验;
4、熟悉网页抓取原理及技术、正则表达式、xpath,熟练从结构化的和非结构化的数据中获取信息;
5、至少熟悉一种关系型数据库,如MSSQL、Mysql、Oracle等,有存储过程开发与维护的经验;
6、思维敏捷,逻辑清晰,有较强的分析和解决问题的能力;
7、有良好的沟通能力、团队协作精神;良好的编码习惯,重视且能独立撰写技术文档;
8、以下是加分项:
电商网站爬虫经验/APP爬虫经验/熟悉Selenium/验证码识别经验/评论语义识别项目经验/数据挖掘或机器学习项目经验
职能类别: 高级软件工程师
公司介绍
艾瑞集团成立于2002年,由杨伟庆先生发起创立,目前共有艾瑞咨询、艾瑞数据与艾瑞资本三项核心业务。集团总部位于北京上海两地,拥有三个分支机构,目前业务覆盖超过20个行业,服务客户超过2000家企业。
公司以“汇聚智慧 成就价值”为品牌理念,通过不断培养、汇聚优秀人才,建立起了一支富有梦想、热情向上、专业有素的团队,为用户提供创新性的产品服务。艾瑞将不断追求进步,致力于成为一家具有强动态竞争力、为企业提供商业决策服务的企业。
艾瑞咨询是中国新经济与产业数字化洞察研究咨询服务领域的领导品牌,以技术和数据为驱动,为客户提供专业的行业分析、数据产品、市场研究、战略咨询、数字化解决方案等专业服务,助力客户提升认知水平、盈利能力和综合竞争力,为机构的商业决策赋能。
公司以“汇聚智慧 成就价值”为品牌理念,通过不断培养、汇聚优秀人才,建立起了一支富有梦想、热情向上、专业有素的团队,为用户提供创新性的产品服务。艾瑞将不断追求进步,致力于成为一家具有强动态竞争力、为企业提供商业决策服务的企业。
艾瑞咨询是中国新经济与产业数字化洞察研究咨询服务领域的领导品牌,以技术和数据为驱动,为客户提供专业的行业分析、数据产品、市场研究、战略咨询、数字化解决方案等专业服务,助力客户提升认知水平、盈利能力和综合竞争力,为机构的商业决策赋能。
联系方式
- 公司地址:北京市朝阳区光华路9号soho2期B座3层