数据爬虫工程师
南京安信达信息科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2021-01-08
- 工作地点:南京-雨花台区
- 招聘人数:2人
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:0.8-1万/月
- 职位类别:高级软件工程师
职位描述
岗位职责:
1、负责互联网站、网页、链接的特征挖掘
2、提供分布式爬虫和数据采集系统的技术实现方案;
3、设计和开发分布式网络爬虫程序;
4、分析静态网页结构,解析网页数据,对数据进行过滤,去重,结构化处理;
5、设计优化爬虫调度系统,优化调度策略。
任职要求:
1、全日制本科以上,计算机/信息管理/软件工程相关专业;
2、扎实的Java/Python基础,熟悉多线程编程环境,熟悉常见开源框架;
3、熟悉前端技术,HTML,JavaScript,Ajax等;
4、熟练使用正则表达式,精通网页数据提取;
5、熟悉抓取原理及技术,熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用;
6、具有构建分布式爬虫系统的经验,具有海量高并发网页爬取项目经验;
7、熟练使用Mysql,熟悉Nosql数据库如Redis等;
8、喜欢技术钻研,具有较强的学习能力,有独立解决问题的能力;
9、富有责任心,有担当。
1、负责互联网站、网页、链接的特征挖掘
2、提供分布式爬虫和数据采集系统的技术实现方案;
3、设计和开发分布式网络爬虫程序;
4、分析静态网页结构,解析网页数据,对数据进行过滤,去重,结构化处理;
5、设计优化爬虫调度系统,优化调度策略。
任职要求:
1、全日制本科以上,计算机/信息管理/软件工程相关专业;
2、扎实的Java/Python基础,熟悉多线程编程环境,熟悉常见开源框架;
3、熟悉前端技术,HTML,JavaScript,Ajax等;
4、熟练使用正则表达式,精通网页数据提取;
5、熟悉抓取原理及技术,熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用;
6、具有构建分布式爬虫系统的经验,具有海量高并发网页爬取项目经验;
7、熟练使用Mysql,熟悉Nosql数据库如Redis等;
8、喜欢技术钻研,具有较强的学习能力,有独立解决问题的能力;
9、富有责任心,有担当。
职能类别:高级软件工程师
公司介绍
南京安信达信息科技有限公司(简称:安信达),致力于公检法司等政法智能化产品及互联网产品自主研发, 安信达在2015年获得***批江苏省民营科技企业认证,国家双软认证等多项、移动警务2015年公安科技创新成果奖、公司同事获得2015年南京市雨花区创业创新先进青年称号等荣誉;2017年公司被评为南京市“专精特新”企业;2018年公司自主产品被评选为全国政法智能化十大解决方案提供商;2019年公司自主产品再次被评选为全国政法智能化十大解决方案提供商,一款产品被评选为全国智慧警务十大创新案例、一款产品被为全国智慧警务创新优秀案例;安信达诚邀海内外优秀青年加盟我们,一起共创美好明天。
联系方式
- 公司地址:地址:span郁金香路2号郁金香软件大厦513