数据抓取工程师
南京万购地产信息有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:房地产 互联网/电子商务
职位信息
- 发布日期:2016-09-13
- 工作地点:南京-建邺区
- 招聘人数:2人
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:8000-9999/月
- 职位类别:数据库工程师/管理员
职位描述
职位描述:
一、岗位职责:
1、协助项目经理完成网页采集任务的分析及采集方案的设计。
2、负责网页抓取和信息提取系统的架构设计及算法实现,开发垂直站点分布式抓取程序,实现对各种网页的解析、提取。
3、根据业务需求建立数据仓库,对抓取数据进行清洗等预处理操作。
4、负责系统日常运营资源调度优化,调整抓取策略,提升爬虫效率,实时监控爬虫的进度。
任职要求:
1、本科以上学历,二年以上相关工作经验,计算机相关专业。
2、深入理解Http协议和web登录认证机制,了解网页验证识别等技术,能模拟浏览器操作爬虫,具有多线程编程经验。
3、熟悉各种Web前端技术,了解主流浏览器对html、JavaScript的解析,精通正则表达式,熟练掌握Java、python等编程语言,具备扎实的编码能力,了解Git等版本控制工具。
4、了解全文检索的原理及应用,对中文分词的原理和分词算法有一定的认识。
5、至少熟悉一种关系型数据库的开发,理解数据库原理,对大规模数据库设计,数据存储有一定经验。
6、工作认真踏实,有较强的学习能力和良好的团队协作沟通能力。
举报
分享
一、岗位职责:
1、协助项目经理完成网页采集任务的分析及采集方案的设计。
2、负责网页抓取和信息提取系统的架构设计及算法实现,开发垂直站点分布式抓取程序,实现对各种网页的解析、提取。
3、根据业务需求建立数据仓库,对抓取数据进行清洗等预处理操作。
4、负责系统日常运营资源调度优化,调整抓取策略,提升爬虫效率,实时监控爬虫的进度。
任职要求:
1、本科以上学历,二年以上相关工作经验,计算机相关专业。
2、深入理解Http协议和web登录认证机制,了解网页验证识别等技术,能模拟浏览器操作爬虫,具有多线程编程经验。
3、熟悉各种Web前端技术,了解主流浏览器对html、JavaScript的解析,精通正则表达式,熟练掌握Java、python等编程语言,具备扎实的编码能力,了解Git等版本控制工具。
4、了解全文检索的原理及应用,对中文分词的原理和分词算法有一定的认识。
5、至少熟悉一种关系型数据库的开发,理解数据库原理,对大规模数据库设计,数据存储有一定经验。
6、工作认真踏实,有较强的学习能力和良好的团队协作沟通能力。
职能类别: 数据库工程师/管理员
关键字: 计算机开发 数据抓取 清洗 爬虫
公司介绍
公司简介
南京万购地产信息有限公司成立于2015年1月,公司具备强劲的技术创新力和雄厚的资金实力,专注于服务不动产二级市场交易平台。
南京万购地产信息有限公司旗下万购地产网起步于2013年8月,2014年5月完成平台的研发,8月底正式上线。万购地产网主要为产业地产、商业地产及农用地等不动产的交易双方提供信息、政策、技术、金融等综合性服务,同时为各开发园区提供招商服务、为各级土地储备中心提供地块推介、地块价值研判等服务,是集专业性、权威性、服务性于一体的综合性土地行业网站。万购地产网拥有江苏省国土资源厅信息中心等多家单位技术支撑,为网站用户提供专业的技术服务。对于发布的地块,万购地产网提供专业指导价,并提供专业评估报告,规范交易,价格公正合理;对拟网上竞拍的房地产用地进行土地价值分析(地块研判、市场调研、市场定位、规划设计方案、收益测算等),并以3D形式展示效果;网站会定期发布区域地价信息及市场分析报告、并对优质地块(房地产用地)定向推介等等;此外,万购还提供高效率的交易登记代理服务等后续服务。
万购地产信息有限公司以先进的理念、优秀的产品和服务,实实在在为整个行业的高效运作提供可靠的交易平台,从而有效帮助大家降低企业成本,实现资源的最优化配置。
----------------------------------------------------------------------------------------------------------------------------
南京值多少信息科技有限公司(前身冉鼎软件),成立于2007年,致力于服务评估行业,以实现房产、土地、资产等在线评估委托为目标,公司具备强劲的技术创新力和雄厚的资金实力,核心的在线委托平台即将上线。
南京万购地产信息有限公司成立于2015年1月,公司具备强劲的技术创新力和雄厚的资金实力,专注于服务不动产二级市场交易平台。
南京万购地产信息有限公司旗下万购地产网起步于2013年8月,2014年5月完成平台的研发,8月底正式上线。万购地产网主要为产业地产、商业地产及农用地等不动产的交易双方提供信息、政策、技术、金融等综合性服务,同时为各开发园区提供招商服务、为各级土地储备中心提供地块推介、地块价值研判等服务,是集专业性、权威性、服务性于一体的综合性土地行业网站。万购地产网拥有江苏省国土资源厅信息中心等多家单位技术支撑,为网站用户提供专业的技术服务。对于发布的地块,万购地产网提供专业指导价,并提供专业评估报告,规范交易,价格公正合理;对拟网上竞拍的房地产用地进行土地价值分析(地块研判、市场调研、市场定位、规划设计方案、收益测算等),并以3D形式展示效果;网站会定期发布区域地价信息及市场分析报告、并对优质地块(房地产用地)定向推介等等;此外,万购还提供高效率的交易登记代理服务等后续服务。
万购地产信息有限公司以先进的理念、优秀的产品和服务,实实在在为整个行业的高效运作提供可靠的交易平台,从而有效帮助大家降低企业成本,实现资源的最优化配置。
----------------------------------------------------------------------------------------------------------------------------
南京值多少信息科技有限公司(前身冉鼎软件),成立于2007年,致力于服务评估行业,以实现房产、土地、资产等在线评估委托为目标,公司具备强劲的技术创新力和雄厚的资金实力,核心的在线委托平台即将上线。
联系方式
- 公司地址:上班地址:国睿大厦