爬虫开发工程师
上海微缘网络科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-11-28
- 工作地点:上海-松江区
- 招聘人数:1人
- 工作经验:无工作经验
- 学历要求:招1人
- 语言要求:不限
- 职位月薪:0.8-1.5万/月
- 职位类别:高级软件工程师 互联网软件开发工程师
职位描述
岗位职责
1、良好的JAVA编程经验,熟悉网络爬虫原理和策略;
2、熟练掌握网页抓取原理及技术、正则表达式、多线程、HTTP协议,能从结构化的和非结构化的数据中获取信息;
3、熟悉爬虫、种子、解析、下载、去重、提取、过滤、调度、DNScache、异步处理等概念和过程,能够熟练配置解析模板;
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一种或多种开源技术;
5、能够有效分析并处理技术问题;具备良好的表达和沟通能力。
任职资格
1、负责传统网页信息采集与正确解析;
2、负责网页爬虫架构设计与核心技术研发;
3、负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模;
4、设计策略和算法,提升网页抓取的效率和质量,进一步解决系统的网页排重、垃圾控制、资源划分等问题;
5、负责网络爬虫平台的维护工作。
1、良好的JAVA编程经验,熟悉网络爬虫原理和策略;
2、熟练掌握网页抓取原理及技术、正则表达式、多线程、HTTP协议,能从结构化的和非结构化的数据中获取信息;
3、熟悉爬虫、种子、解析、下载、去重、提取、过滤、调度、DNScache、异步处理等概念和过程,能够熟练配置解析模板;
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一种或多种开源技术;
5、能够有效分析并处理技术问题;具备良好的表达和沟通能力。
任职资格
1、负责传统网页信息采集与正确解析;
2、负责网页爬虫架构设计与核心技术研发;
3、负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模;
4、设计策略和算法,提升网页抓取的效率和质量,进一步解决系统的网页排重、垃圾控制、资源划分等问题;
5、负责网络爬虫平台的维护工作。
职能类别:高级软件工程师互联网软件开发工程师
公司介绍
上海微缘网络科技有限公司,简称微缘。微缘是技术服务为主导、立足于高科技领域的前沿,专业致力于微信营销软件开发及应用。本着“贴心,专业,”的服务理念,目前已成微信营销最有影响企业之一。
联系方式
- 公司地址:地址:span沪松公路1221号星辰大厦705室