爬虫开发工程师
深圳市海晟光电有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:电子技术/半导体/集成电路
职位信息
- 发布日期:2017-07-23
- 工作地点:深圳-宝安区
- 招聘人数:1人
- 职位月薪:0.8-1万/月
- 职位类别:软件工程师 数据库工程师/管理员
职位描述
职位描述:
工作职责:
1.编写大规模分布式网络爬虫(多线程、分布式调度、协议处理);
2.系统解决动态网页内容抓取、深度网页内容抓取的关键技术;
3.机器学习,信息检索,大规模数据挖掘等工作;
4.负责大数据高性能分布式处理系统的开发
5.数据清洗整理类产品的应用开发、优化;
6.构建和开发在海量数据下多维分析的数据分析平台
职位要求:
1.Java基础扎实,精通SSH等开源框架;
2.熟悉MySql、Oracle、MongoDB一种或多种数据库开发技术,有较好的数据库设计能力;
3.精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术,从结构化的和非结构化的数据中获取信息;
4.精通爬虫和反爬技术,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等;
5.熟悉分布式系统、多线程
6.具有网络爬虫、网页信息抽取、数据挖掘、自然语言处理、信息检索、机器学习、web挖掘等搜索引擎等相关经验优先;
7.计算等相关专业,本科学历,两年及以上经验
举报
分享
工作职责:
1.编写大规模分布式网络爬虫(多线程、分布式调度、协议处理);
2.系统解决动态网页内容抓取、深度网页内容抓取的关键技术;
3.机器学习,信息检索,大规模数据挖掘等工作;
4.负责大数据高性能分布式处理系统的开发
5.数据清洗整理类产品的应用开发、优化;
6.构建和开发在海量数据下多维分析的数据分析平台
职位要求:
1.Java基础扎实,精通SSH等开源框架;
2.熟悉MySql、Oracle、MongoDB一种或多种数据库开发技术,有较好的数据库设计能力;
3.精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术,从结构化的和非结构化的数据中获取信息;
4.精通爬虫和反爬技术,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等;
5.熟悉分布式系统、多线程
6.具有网络爬虫、网页信息抽取、数据挖掘、自然语言处理、信息检索、机器学习、web挖掘等搜索引擎等相关经验优先;
7.计算等相关专业,本科学历,两年及以上经验
职能类别: 软件工程师 数据库工程师/管理员
公司介绍
深圳市海晟光电有限公司成立2008年,是一家集专业从事LED显示屏研发、生产、销售服务为一体工贸的高新科技企业。专注LED显示屏细分领域市场发展,主打户外LED灯条模组屏、室内LED透明屏、LED显示屏互动应用产品,目前市场广泛应用在广告传媒、商场、会所、酒店、娱乐场等等,一个可以让你实现长期升值行业,有你的努力创新及付出,相信明天会更精彩,官网:www.optokingddom.com
联系方式
- 公司地址:上班地址:深圳市宝安区固戍三围东华第三工业区A1栋三楼