爬虫工程师
网易集团
- 公司规模:10000人以上
- 公司性质:上市公司
- 公司行业:网络游戏
职位信息
- 发布日期:2020-10-29
- 工作地点:广州-天河区
- 招聘人数:若干人
- 工作经验:1年经验
- 学历要求:本科
- 职位月薪:1.5-2.5万/月
- 职位类别:爬虫开发工程师
职位描述
【工作内容】
- 负责指定的网站进行页面抓取、数据清理提取;
- 参与已有爬虫系统中作业的检验,设计和优化爬虫策略,充分利用已有服务器和宽带资源进行优化;
- 针对APP数据进行抓包分析,爬取APP数据并整合存储;
- 对大规模数据进行处理和简单分析(Hadoop集群);
- 能积极反馈和沟通工作进度和面临的工作问题。
【职位要求】
- 本科及以上学历,计算机相关专业;
- 掌握Python、Java等编程语言,了解多线程、多进程、网络通信等编程相关知识;
- 掌握网页抓取原理,了解TCP/HTTP协议、Html/Js/Css、Ajax等技术,熟悉一般的网站登陆原理;
- 具有实际爬虫开发工作经验,熟悉常见爬虫框架和工具,比如pyspider, scrapy和Selenium等;
- 了解爬虫框架原理、有过APP抓包分析经验者优先;
- 具有Hadoop、数据挖掘、自然语言处理等相关经验者优先;
- 能够快速学习和掌握新技术,优秀的分析、解决问题能力,具备团队合作精神。
职能类别:爬虫开发工程师
公司介绍
网易 (NASDAQ: NTES)是中国领先的互联网技术公司,在开发互联网应用、服务及其它技术方面,网易始终保持国内业界的领先地位。网易对中国互联网的发展具有强烈的使命感,网易利用最先进的互联网技术,加强人与人之间信息的交流和共享,实现“网聚人的力量”。
1997年6月创立以来,凭借先进的技术和优质的服务,网易深受广大网民欢迎,曾两次被中国互联网络信息中心(CNNIC)评选为中国十佳网站之首。
网易作为中国网站的领先者,始终致力于电子商务及IT产业的持续发展,同时也在努力促进中国人民的数字化生活。为了这个目标,网易把亿万的网民聚集在一起,实现资讯的共享,为用户提供更好的服务,为他们创造更愉悦的在线体验。
1997年6月创立以来,凭借先进的技术和优质的服务,网易深受广大网民欢迎,曾两次被中国互联网络信息中心(CNNIC)评选为中国十佳网站之首。
网易作为中国网站的领先者,始终致力于电子商务及IT产业的持续发展,同时也在努力促进中国人民的数字化生活。为了这个目标,网易把亿万的网民聚集在一起,实现资讯的共享,为用户提供更好的服务,为他们创造更愉悦的在线体验。
联系方式
- Email:liqiang04@corp.netease.com
- 公司地址:地址:span西北旺东路10号院中关村软件园二期西区7号A座