数据抓取工程师(爬虫开发工程师)
上海瑞聚信息科技有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:互联网/电子商务 计算机服务(系统、数据服务、维修)
职位信息
- 发布日期:2015-04-22
- 工作地点:上海-闸北区
- 招聘人数:若干
- 职位月薪:面议
- 职位类别:软件工程师 算法工程师
职位描述
岗位职责
1.参与互联网信息搜集方向的研究、开发及维护工作;
2.对接业务部门的爬虫需求
3.负责采集数据的网页抓取,数据的提取、清洗、入库;
4.完成爬虫的设计与编程工作,改进和提升爬虫效果;
任职资格:
1.1年以上相关工作经验,计算机或数学相关专业,有大型项目研发经验者优先;
2.有分布式、多线程编程经验;
3.精通正则表达式,可从结构化的和非结构化的数据中获取信息,熟悉深度抓取、动态网页技术抓取、浏览器模拟抓取技术
4.熟悉Lucene/Nutch/Heritrix/larbin/ HtmlClient/HtmlParser等开源工具;
5.精通爬虫和反爬技术,熟悉http底层协议;
6.有Nosql/Hadoop/Mapreduce 使用经验者优先
1.参与互联网信息搜集方向的研究、开发及维护工作;
2.对接业务部门的爬虫需求
3.负责采集数据的网页抓取,数据的提取、清洗、入库;
4.完成爬虫的设计与编程工作,改进和提升爬虫效果;
任职资格:
1.1年以上相关工作经验,计算机或数学相关专业,有大型项目研发经验者优先;
2.有分布式、多线程编程经验;
3.精通正则表达式,可从结构化的和非结构化的数据中获取信息,熟悉深度抓取、动态网页技术抓取、浏览器模拟抓取技术
4.熟悉Lucene/Nutch/Heritrix/larbin/ HtmlClient/HtmlParser等开源工具;
5.精通爬虫和反爬技术,熟悉http底层协议;
6.有Nosql/Hadoop/Mapreduce 使用经验者优先
公司介绍
瑞聚科技是一家技术驱动型的IT互联网公司,2014年3月开始一直致力于移动互联网的产品的研开发及数据采集、集成到应用分析的大数据解决方案研究。
凭借着团队多年的经验积累和丰富的产品技术创新能力,基于微信和IOS、andriod等移动端平 台为企业提供定制服务开发应用、O2O解决方案、移动OA解决方案,数据集成BI商业智能应用等服 务,帮助企业实现线上线下互通,移动办公管理,商业数据化等多个层面的业务应用需求。
公司网址:www.itrich.cn
凭借着团队多年的经验积累和丰富的产品技术创新能力,基于微信和IOS、andriod等移动端平 台为企业提供定制服务开发应用、O2O解决方案、移动OA解决方案,数据集成BI商业智能应用等服 务,帮助企业实现线上线下互通,移动办公管理,商业数据化等多个层面的业务应用需求。
公司网址:www.itrich.cn
联系方式
- 公司地址:上班地址:沪宜公路1101号南翔智地越界产业园1幢309室