爬虫工程师
依通(北京)科技有限公司
- 公司规模:50-150人
- 公司性质:创业公司
- 公司行业:计算机软件
职位信息
- 发布日期:2016-11-17
- 工作地点:北京-海淀区
- 招聘人数:1人
- 工作经验:2年经验
- 职位月薪:10000-20000/月
- 职位类别:软件工程师 互联网软件开发工程师
职位描述
职位描述:
岗位描述:
1、负责核心系统平台中分布式网络爬虫系统的设计与开发工作;
2、负责多平台的信息抓取、分析、清洗等研发与优化工作;
3、负责抓取信息的深度提取与挖掘。
职位要求:
1、计算机相关专业大专及以上学历,高级开发2年以上工作经验者优先;
2、精通网页抓取原理及技术,精通正则表达式,熟练从结构化和非结构化的数据中获取信息;
3、精通JAVA/PYTHON语言,熟悉数据库性能优化与常见缓存技术与策略;
4、精通一种开源爬虫框架,如scrapy、webmagic、nutch、heritrix等等,有开发爬虫框架经验优先;熟悉反爬虫、验证码识别技术者优先;
5、了解互联网的常用技术点、通用技术解决方案,深入源码或者开源committer者优先;
6、具有信息检索,大数据,自然语言处理、文本处理、数据挖掘或机器学习等至少一个相关经验者优先;
7、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析问题/解决问题;
8、有强烈的上进心和求知欲,擅于学习新事物。
举报
分享
岗位描述:
1、负责核心系统平台中分布式网络爬虫系统的设计与开发工作;
2、负责多平台的信息抓取、分析、清洗等研发与优化工作;
3、负责抓取信息的深度提取与挖掘。
职位要求:
1、计算机相关专业大专及以上学历,高级开发2年以上工作经验者优先;
2、精通网页抓取原理及技术,精通正则表达式,熟练从结构化和非结构化的数据中获取信息;
3、精通JAVA/PYTHON语言,熟悉数据库性能优化与常见缓存技术与策略;
4、精通一种开源爬虫框架,如scrapy、webmagic、nutch、heritrix等等,有开发爬虫框架经验优先;熟悉反爬虫、验证码识别技术者优先;
5、了解互联网的常用技术点、通用技术解决方案,深入源码或者开源committer者优先;
6、具有信息检索,大数据,自然语言处理、文本处理、数据挖掘或机器学习等至少一个相关经验者优先;
7、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析问题/解决问题;
8、有强烈的上进心和求知欲,擅于学习新事物。
职能类别: 软件工程师 互联网软件开发工程师
关键字: 爬虫 爬虫工程师 java java工程师
公司介绍
依通(北京)科技有限公司成立于2015年,是一家专注研究基于深度学
习的人工智能识别技术和大数据分析的高科技公司。
公司团队帮助全国扫黄打非办和国家网信办发现、取证互联网涉黄、涉
恐暴案件上百起,协助管理和执法机构处理多起敏感案件。
公司自主研发的“网络不良信息监测平台”、“IT资产管理系统”、“
绿色上网系统”、“图像识别系统”为政府、电信运营商、互联网公司
及个人用户提供了基于互联网不良信息监测、过滤、阻断等技术服务和
解决方案。
习的人工智能识别技术和大数据分析的高科技公司。
公司团队帮助全国扫黄打非办和国家网信办发现、取证互联网涉黄、涉
恐暴案件上百起,协助管理和执法机构处理多起敏感案件。
公司自主研发的“网络不良信息监测平台”、“IT资产管理系统”、“
绿色上网系统”、“图像识别系统”为政府、电信运营商、互联网公司
及个人用户提供了基于互联网不良信息监测、过滤、阻断等技术服务和
解决方案。
联系方式
- 公司地址:地址:span丰台科技园汉威国际2区2号楼6层