JAVA开发工程师 (数据开发部)
北京无限讯奇信息技术有限公司
- 公司规模:150-500人
- 公司行业:计算机软件 通信/电信运营、增值服务
职位信息
- 发布日期:2017-07-01
- 工作地点:北京-海淀区
- 招聘人数:1人
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:10000-14999/月
- 职位类别:软件工程师
职位描述
职位描述:
岗位职责:
1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析,可用于客户需求及公司规范按要求抓取网络数据,为公司项目提供数据支持;
2、负责网页信息抽取、数据清洗等研发和优化工作;
3、负责抓取数据的深度提取和挖掘;
4、维护数据库的稳定性和扩展性,及数据安全性;
5、完善数据库的监控程序,及时发现问题、处理问题,提高运行效率。
岗位要求:
1、 计算机、通信及相关专业本科以上学历;
2、 熟悉HTTP服务器端知识,3年左右爬虫开发经验,熟练使用Java语言及SSH框架;
3、 熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
4、 熟悉JavaScript语言,能根据JavaScript代码,分析网站的数据交互流程,制定抓取网站数据的步骤;
5、 熟悉数据库编程,熟练MySQL,熟悉NoSQL技术者优先;
6、 熟悉多线程、多进程、网络通信编程相关知识;
7、 有分布式爬虫架构,数据挖掘经验优先,熟悉Python语言者优先。
举报
分享
岗位职责:
1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析,可用于客户需求及公司规范按要求抓取网络数据,为公司项目提供数据支持;
2、负责网页信息抽取、数据清洗等研发和优化工作;
3、负责抓取数据的深度提取和挖掘;
4、维护数据库的稳定性和扩展性,及数据安全性;
5、完善数据库的监控程序,及时发现问题、处理问题,提高运行效率。
岗位要求:
1、 计算机、通信及相关专业本科以上学历;
2、 熟悉HTTP服务器端知识,3年左右爬虫开发经验,熟练使用Java语言及SSH框架;
3、 熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
4、 熟悉JavaScript语言,能根据JavaScript代码,分析网站的数据交互流程,制定抓取网站数据的步骤;
5、 熟悉数据库编程,熟练MySQL,熟悉NoSQL技术者优先;
6、 熟悉多线程、多进程、网络通信编程相关知识;
7、 有分布式爬虫架构,数据挖掘经验优先,熟悉Python语言者优先。
职能类别: 软件工程师
关键字: java 爬虫 数据抓取
公司介绍
北京无限讯奇信息技术有限公司是中国移动12580综合信息服务平台的独家合作伙伴。
公司致力于大众生活信息的精确服务,现有北京、上海两个运营中心。承建中国移动的全国12580综合信息服务支撑平台、并负责平台运营和信息提供。
公司正着力构建国内第一个基于移动电话、互联网的最便捷、有效、可信的信息桥梁。
作为中国移动在信息服务领域的全国首批合作伙伴,无限讯奇正在协助运营商设计、开发,并承建全国的业务平台;承担全部的运营、支撑工作。
公司将全方位提供优选的商旅、娱乐、生活、餐饮、交通指路等综合信息服务上海和广州地区的目标任务是通过组建本地地面团队完成对本地30余个行业的商户详细信息收集,带领团队按照公司提供的行业需求模板完成上海和广州省内主要城市商户信息采集并确认,以满足消费者查询需求。
公司致力于大众生活信息的精确服务,现有北京、上海两个运营中心。承建中国移动的全国12580综合信息服务支撑平台、并负责平台运营和信息提供。
公司正着力构建国内第一个基于移动电话、互联网的最便捷、有效、可信的信息桥梁。
作为中国移动在信息服务领域的全国首批合作伙伴,无限讯奇正在协助运营商设计、开发,并承建全国的业务平台;承担全部的运营、支撑工作。
公司将全方位提供优选的商旅、娱乐、生活、餐饮、交通指路等综合信息服务上海和广州地区的目标任务是通过组建本地地面团队完成对本地30余个行业的商户详细信息收集,带领团队按照公司提供的行业需求模板完成上海和广州省内主要城市商户信息采集并确认,以满足消费者查询需求。
联系方式
- 公司地址:上班地址:亦庄经济技术开发区隆庆街18号安快创业谷