爬虫数据工程师
上海质力信息技术有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:专业服务(咨询、人力资源、财会) 公关/市场推广/会展
职位信息
- 发布日期:2016-09-26
- 工作地点:上海-黄浦区
- 招聘人数:若干人
- 工作经验:2年经验
- 学历要求:本科
- 语言要求:普通话 良好 英语 一般
- 职位月薪:10000-14999/月
- 职位类别:数据库工程师/管理员 互联网软件开发工程师
职位描述
职位描述:
岗位职责:
1.参与分布式爬虫和数据采集系统的架构设计和开发,进行多平台信息的抓取和分析;
2.负责网页信息抽取、数据清洗等研发和优化工作;
3.负责抓取数据的深度提取和挖掘。
任职要求:
1.本科及以上学历,两年以上工作经验;
2.熟悉linux开发环境,熟悉shell脚本开发;熟练掌HttpClient,Selenium,HtmlUnit等技术,有nutch、lucene、solr等系统架构和使用经验优先 ;
3.熟悉HTTP协议,熟悉各种网站、网页、链接的形态,了解它们的特点和规律;
4.精通Python语言,熟练使用python常用模块;
5.良好的学习能力和沟通能力,工作积极主动,具有强烈的责任心和团队合作精神;
6.有数据挖掘、机器学习相关经历者优先。
举报
分享
岗位职责:
1.参与分布式爬虫和数据采集系统的架构设计和开发,进行多平台信息的抓取和分析;
2.负责网页信息抽取、数据清洗等研发和优化工作;
3.负责抓取数据的深度提取和挖掘。
任职要求:
1.本科及以上学历,两年以上工作经验;
2.熟悉linux开发环境,熟悉shell脚本开发;熟练掌HttpClient,Selenium,HtmlUnit等技术,有nutch、lucene、solr等系统架构和使用经验优先 ;
3.熟悉HTTP协议,熟悉各种网站、网页、链接的形态,了解它们的特点和规律;
4.精通Python语言,熟练使用python常用模块;
5.良好的学习能力和沟通能力,工作积极主动,具有强烈的责任心和团队合作精神;
6.有数据挖掘、机器学习相关经历者优先。
职能类别: 数据库工程师/管理员 互联网软件开发工程师
关键字: 爬虫 数据 抓取 分析 Python linux
公司介绍
上海质力信息技术有限公司是一家专业的市场研究机构,主要在中国本土为客户提供全方位的市场研究服务。我们能够提供高质量的数据收集(访问/访问+数据表),也可以根据需要为客户提供分析、报告和决策建议。我们的核心竞争力体现为:既遵循了国际标准的项目管理以及数据分析技术,又有对中国市场的独到深刻了解。这使得我们更能够根据中国市场的实际情况量身定制的设计研究方案,并且对研究结果提供独到深入的见解,从而为客户们在中国的事业发展提供帮助。
我司同时为客户提供定性和定量的市场研究服务。公司总部设在上海,同时在北京、广州、成都、武汉、杭州设有独立的分公司,二百一十六名经验丰富的优秀员工。我们主要研究的行业包括了:汽车、电子产品、化妆品、个人护理用品,还有涉及到包装产品及饮料、零食及餐厅等等。
我司同时为客户提供定性和定量的市场研究服务。公司总部设在上海,同时在北京、广州、成都、武汉、杭州设有独立的分公司,二百一十六名经验丰富的优秀员工。我们主要研究的行业包括了:汽车、电子产品、化妆品、个人护理用品,还有涉及到包装产品及饮料、零食及餐厅等等。
联系方式
- 公司地址:上班地址:丽园路501号7107室