北京招聘

工作职责：

1, 负责爬虫团队的研发、管理。

2, 负责爬虫引擎研发工作，支持多短平快开发抓取任务；

3, 负责制定反屏蔽策略；

4, 负责以数据为核心的，包括数据抓取、数据清洗的相关工作；

5, 负责爬虫引擎日常运营及运维工作，重点关注数据的质量；

岗位要求：

1, 全日制本科以上，计算机/信息管理/软件工程相关专业；

2, 熟练掌握Java或Python语言，此为必须条件。

3, 熟悉多线程编程环境，熟悉常见开源框架；

4, 熟悉网页结构，能通过正则/JSOUP等获取网页中关键数据。有App的数据爬取经验优先。；

5, 具备丰富的爬虫开发工作经验，能有效指定反屏蔽策略，确保数据爬虫的稳定运行；

6, 熟悉敏捷开发模式，能在工作中熟练使用Git/Maven等开发周边工具；

7, 具备良好的编程意识及自我驱动， 有团队管理经验优先考虑；

8, 熟悉大数据处理框架（hadoop/hive/spark）优先考虑；

艾瑞集团成立于2002年，由杨伟庆先生发起创立，目前共有艾瑞咨询、艾瑞数据与艾瑞资本三项核心业务。集团总部位于北京上海两地，拥有三个分支机构，目前业务覆盖超过20个行业，服务客户超过2000家企业。
公司以“汇聚智慧 成就价值”为品牌理念，通过不断培养、汇聚优秀人才，建立起了一支富有梦想、热情向上、专业有素的团队，为用户提供创新性的产品服务。艾瑞将不断追求进步，致力于成为一家具有强动态竞争力、为企业提供商业决策服务的企业。
艾瑞咨询是中国新经济与产业数字化洞察研究咨询服务领域的领导品牌，以技术和数据为驱动，为客户提供专业的行业分析、数据产品、市场研究、战略咨询、数字化解决方案等专业服务，助力客户提升认知水平、盈利能力和综合竞争力，为机构的商业决策赋能。