数据抓取工程师
杭州施强教育科技有限公司
- 公司规模:500-1000人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-04-21
- 工作地点:杭州-滨江区
- 招聘人数:若干人
- 工作经验:5-7年经验
- 学历要求:大专
- 职位月薪:1.3-2.2万/月
- 职位类别:高级软件工程师
职位描述
职位描述:
岗位职责:
1.完成网页采集任务的分析及采集方案的设计,对海量数据进行智能抽取、校对;
2.负责网页抓取和信息提取系统的架构设计及算法实现,开发垂直站点分布式抓取程序,实现对各种网页的解析、提取;
3.根据业务需求建立数据仓库,对抓取数据进行清洗等预处理操作;
4.负责系统日常运营资源调度优化,调整抓取策略,提升爬虫效率,实时监控爬虫的进度。
岗位要求:
1.大专及以上学历,JAVA基础扎实,理解io、多线程、集合等基础框架,对JVM原理有一定的了解;
2.五年及以上JAVA开发经验,熟悉开源框架,能了解到它的原理和机制;对Spring,ibatis,struts等开源框架熟悉;
3.熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息等机制;能对分布式常用技术进行合理应用,解决问题;
4.掌握多线程及高性能的设计与编码及性能调优;有高并发应用开发经验;
5.掌握Linux 操作系统和大型数据库(Oracle、MySql);对sql优化有丰富的经验;
6.学习能力强,责任心强,具有良好的沟通、团队协作、计划和创新的能力。
举报
分享
岗位职责:
1.完成网页采集任务的分析及采集方案的设计,对海量数据进行智能抽取、校对;
2.负责网页抓取和信息提取系统的架构设计及算法实现,开发垂直站点分布式抓取程序,实现对各种网页的解析、提取;
3.根据业务需求建立数据仓库,对抓取数据进行清洗等预处理操作;
4.负责系统日常运营资源调度优化,调整抓取策略,提升爬虫效率,实时监控爬虫的进度。
岗位要求:
1.大专及以上学历,JAVA基础扎实,理解io、多线程、集合等基础框架,对JVM原理有一定的了解;
2.五年及以上JAVA开发经验,熟悉开源框架,能了解到它的原理和机制;对Spring,ibatis,struts等开源框架熟悉;
3.熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息等机制;能对分布式常用技术进行合理应用,解决问题;
4.掌握多线程及高性能的设计与编码及性能调优;有高并发应用开发经验;
5.掌握Linux 操作系统和大型数据库(Oracle、MySql);对sql优化有丰富的经验;
6.学习能力强,责任心强,具有良好的沟通、团队协作、计划和创新的能力。
职能类别: 高级软件工程师
公司介绍
智慧教育依托于杭州施强教育科技有限公司。公司于2008年成立,注册资金2亿,隶属于施强集团,是一家致力于在智慧教育领域提供卓越产品和服务的高新技术企业,其中有中高级研发人才200余人、教研老师100余人,营销精英400余人;系***高新技术企业、***安防工程企业、浙江省双软企业、中国教育技术协会会员。截至目前,公司旗下产品累计获得10余项发明专利、200余项软件著作权及外观设计专利——研究技术与教育深度融合,提供优质产品及服务。
联系方式
- 公司地址:地址:span滨安路1168号施强广场