爬虫工程师
北京宏图远见科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-03-16
- 工作地点:北京-海淀区
- 工作经验:无工作经验
- 学历要求:本科
- 职位月薪:0.8-1万/月
- 职位类别:软件工程师
职位描述
职责描述:
1、 负责设计和开发网络爬虫系统,进行多平台信息的抓取和页面内容的提取分析工作;比如从相关的各类网站爬取人口、经济、房价、公共交通、商业地产相关属性等数据。
2、 参与爬虫核心算法和策略优化,提升平台的抓取效率;
3、 实时监控爬虫的进度和警报反馈;
4、 负责制定安全策略,有针对性的设计防爬虫策略;
5、 负责网页信息的抽取、数据清洗等研发和优化工作;
6、 针对抓取的海量数据,设计存储、检索和管理平台,提供数据服务;
7、 根据互联网数据更新频率,建立实时抓取策略,保证获得最新数据;
职位要求:
1. 计算机、信息科学等相关专业,注重经验和实际开发能力;
2. 熟悉Java 、JDBC、SQL、Python;
3. 熟悉信息采集、网络爬虫、网络代理的原理与工作机制
4. 实际爬虫开发、内容提取工作经验;
5. 有过海量数据爬取经验者优先;
6. 有良好的分析和解决问题能力,逻辑思维清晰严谨。
1、 负责设计和开发网络爬虫系统,进行多平台信息的抓取和页面内容的提取分析工作;比如从相关的各类网站爬取人口、经济、房价、公共交通、商业地产相关属性等数据。
2、 参与爬虫核心算法和策略优化,提升平台的抓取效率;
3、 实时监控爬虫的进度和警报反馈;
4、 负责制定安全策略,有针对性的设计防爬虫策略;
5、 负责网页信息的抽取、数据清洗等研发和优化工作;
6、 针对抓取的海量数据,设计存储、检索和管理平台,提供数据服务;
7、 根据互联网数据更新频率,建立实时抓取策略,保证获得最新数据;
职位要求:
1. 计算机、信息科学等相关专业,注重经验和实际开发能力;
2. 熟悉Java 、JDBC、SQL、Python;
3. 熟悉信息采集、网络爬虫、网络代理的原理与工作机制
4. 实际爬虫开发、内容提取工作经验;
5. 有过海量数据爬取经验者优先;
6. 有良好的分析和解决问题能力,逻辑思维清晰严谨。
职能类别: 软件工程师
公司介绍
北京宏图远见科技有限公司,是一家致力于地理商业智能信息服务的公司。以空间信息数据产品与服务为基础,以地理信息技术、通信技术、全球定位技术为支撑,面向零售业、汽车业、运输与物流、银行与金融业等行业,将地理信息智能引入到企业各个商业决策环节,助力企业在激烈的竞争中做出正确的商业决策。 同时,面向政府行业提供综合的规划管理解决方案,辅助政府单位做出科学有效的决策。
公司总部设立在北京中关村,在河北设有子公司,拥有河北省最大规模的地理信息数据生产基地,专注于商业地理信息信息采集、数据加工与处理、以及专题分析服务,员工总数300多人,致力成为国内领先的地理商业智能服务提供商。
公司总部设立在北京中关村,在河北设有子公司,拥有河北省最大规模的地理信息数据生产基地,专注于商业地理信息信息采集、数据加工与处理、以及专题分析服务,员工总数300多人,致力成为国内领先的地理商业智能服务提供商。
联系方式
- 公司地址:地址:span海淀区长春桥路11号万柳亿城中心C2座604