爬虫工程师
杭州泰一传媒有限公司
- 公司规模:500-1000人
- 公司性质:民营公司
- 公司行业:互联网/电子商务 广告
职位信息
- 发布日期:2016-10-05
- 工作地点:杭州
- 招聘人数:2人
- 学历要求:大专
- 职位月薪:13000-30000/月
- 职位类别:软件工程师
职位描述
职位描述:
岗位职责:
1、参与爬虫系统的架构设计与开发;
2、具有实际爬虫开发、内容提取工作经验2年以上;
3、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;
4、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
5、能独立解决实际开发过程碰到的各类问题;
任职资格:
1、熟悉linux平台开发,3年以上Java开发经验;
2、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;
3、熟悉Mysql,redis,mongdb三者至少之一,有过数据库调优和海量数据存储经验优先;
4、具有搜索相关技术研发经验者优先;
5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
6、掌握多种解析具Jsoup、Xpath、Beautifulsoup、htmlparser、正则有nutch,heritrix,jsoup抓取经验或者分布式抓取经验者优先;
7、掌握简单的验证码识别技术、AJAX网页采集技术 以及爬虫高并发技术,流式处理。
8、掌握分布式爬虫(任务同步),爬虫部署(采集任务管理,调度)
举报
分享
岗位职责:
1、参与爬虫系统的架构设计与开发;
2、具有实际爬虫开发、内容提取工作经验2年以上;
3、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;
4、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
5、能独立解决实际开发过程碰到的各类问题;
任职资格:
1、熟悉linux平台开发,3年以上Java开发经验;
2、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;
3、熟悉Mysql,redis,mongdb三者至少之一,有过数据库调优和海量数据存储经验优先;
4、具有搜索相关技术研发经验者优先;
5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
6、掌握多种解析具Jsoup、Xpath、Beautifulsoup、htmlparser、正则有nutch,heritrix,jsoup抓取经验或者分布式抓取经验者优先;
7、掌握简单的验证码识别技术、AJAX网页采集技术 以及爬虫高并发技术,流式处理。
8、掌握分布式爬虫(任务同步),爬虫部署(采集任务管理,调度)
职能类别: 软件工程师
公司介绍
泰一传媒全球领先的大数据营销企业,多年来依托雄厚的技术实力及持续不断的产品创新,已成功跻身为数字营销领域的领导者。其自有的大数据平台每日处理用户曝光量可达100亿,全面覆盖5亿在线网民,为企业客户提供广告营销、行业市场分析、商业舆情、数据增值等多项服务。
泰一传媒作为国内首个运用大数据技术的创新科技型广告公司,可为广告主提供全网(基于互联网、移动互联网、互动电视等)一站式的营销服务及解决方案。作为数字营销领域的创领者企业,泰一传媒始终以技术作为核心竞争力,继而提出基于多屏幕数字信息传递、交互、可视化的未来广告营销模式。
公司总部位于杭州,并分别在北京、杭州、硅谷建有技术研发中心,同时与国内外多家研究机构建有联合实验室。目前员工人数已达到500余人,其中50%为研发人员。技术团队主要由来自微软、华为、百度、雅虎、阿里巴巴等行业资深专家领衔组建,汇聚数据分析、广告营销、人工智能、互动创意等领域的精英。
介于对大数据技术的深入应用和不断创新,泰一传媒于2012年率先推出国内首个大数据管理平台——Atlas云图。该平台具备海量数据、实时计算、跨网络平台汇聚、多用户行为分析、多行业报告分析等特点,旨在对数据的深层次关系进行挖掘,构建可视化的大数据平台,为营销服务提供全方位的数据支持。
在自有数据管理平台的基础上,泰一传媒推出国内首个跨网多屏程序化购买平台AdMatrix。该平台的优势在于,最大程度的为客户提供策略服务。结合广告主的不同广告投放需求及消费者多变的终端使用习惯,AdMatrix可实现高效的跨屏实时广告调度,为企业提供完善的广告投放决策。
泰一传媒大力提倡多屏互动全新营销模式,以大数据平台为基础,结合自身强势资源,通过多屏立体式的投放策略提升在线广告价值。多屏投放不仅能为广告主提供更加精准的营销服务,还可以借助不同终端的互动方式,与受众进行深度沟通,从而加强品牌记忆,有效提升广告效果。
目前,泰一传媒已构建了一整套完善的“大视频、大移动”营销生态体系,为近500家的汽车、快消品、电商、教育等行业客户提供卓有成效的广告营销服务。
泰一传媒作为国内首个运用大数据技术的创新科技型广告公司,可为广告主提供全网(基于互联网、移动互联网、互动电视等)一站式的营销服务及解决方案。作为数字营销领域的创领者企业,泰一传媒始终以技术作为核心竞争力,继而提出基于多屏幕数字信息传递、交互、可视化的未来广告营销模式。
公司总部位于杭州,并分别在北京、杭州、硅谷建有技术研发中心,同时与国内外多家研究机构建有联合实验室。目前员工人数已达到500余人,其中50%为研发人员。技术团队主要由来自微软、华为、百度、雅虎、阿里巴巴等行业资深专家领衔组建,汇聚数据分析、广告营销、人工智能、互动创意等领域的精英。
介于对大数据技术的深入应用和不断创新,泰一传媒于2012年率先推出国内首个大数据管理平台——Atlas云图。该平台具备海量数据、实时计算、跨网络平台汇聚、多用户行为分析、多行业报告分析等特点,旨在对数据的深层次关系进行挖掘,构建可视化的大数据平台,为营销服务提供全方位的数据支持。
在自有数据管理平台的基础上,泰一传媒推出国内首个跨网多屏程序化购买平台AdMatrix。该平台的优势在于,最大程度的为客户提供策略服务。结合广告主的不同广告投放需求及消费者多变的终端使用习惯,AdMatrix可实现高效的跨屏实时广告调度,为企业提供完善的广告投放决策。
泰一传媒大力提倡多屏互动全新营销模式,以大数据平台为基础,结合自身强势资源,通过多屏立体式的投放策略提升在线广告价值。多屏投放不仅能为广告主提供更加精准的营销服务,还可以借助不同终端的互动方式,与受众进行深度沟通,从而加强品牌记忆,有效提升广告效果。
目前,泰一传媒已构建了一整套完善的“大视频、大移动”营销生态体系,为近500家的汽车、快消品、电商、教育等行业客户提供卓有成效的广告营销服务。
联系方式
- 公司地址:上班地址:杭州市杭州市滨江区阡陌路482号智慧E谷A楼16-18F