北京 [切换城市] 北京招聘北京计算机软件招聘北京高级软件工程师招聘

搜狐媒体-搜狐资讯客户端-python爬虫开发(职位编号:sohu009633)

搜狐媒体

  • 公司规模:1000-5000人
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2019-03-24
  • 工作地点:北京-海淀区
  • 工作经验:2年经验
  • 学历要求:本科
  • 职位月薪:2-3.5万/月
  • 职位类别:高级软件工程师  

职位描述

岗位职责:

1.负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;
2.负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率;
3.参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;
4.实时监控爬虫的进度和警报反馈。



任职资格:

1.本科以上学历,2年以上工作经验;
2.熟悉Linux系统,掌握Java,Python等语言,熟悉常用爬虫框架,如Scrapy,webmagic等;
3.熟悉HTML/JavaScript/CSS/xpath/url/Ajax/xml等web技知识,熟悉WebDriver、phantomjs等工具;
4.掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
5.熟悉mysql、redis,mongodb等,熟悉Internet基本协议(如TCP/IP. HTTP等);
6.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台;
7.熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验;
8.有数据分析、数据挖掘相关经验者优先,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先。

职能类别: 高级软件工程师

公司介绍

目前,搜狐已经初步实现了从创立伊始确立的“让网络成为中国人民生活中不可缺少的一部分”的理想。在中国网民呈现爆发式增长的过程中,搜狐也始终在为大多数中国网民提供优质服务。

搜狐新闻客户端是搜狐出品的一款为智能手机用户量身打造的“订阅平台+ 实时新闻”阅读应用,是全国首个提出个性化阅读服务的新闻客户端。截至2014年5 月底,搜狐新闻客户端装机量2.1亿,是中国***的移动媒体平台。目前,搜狐新闻客户端入驻媒体和自媒体总数超过15000 家。过2亿的智能手机激活用户通过搜狐新闻客户端获取信息,搜狐新闻客户端作为***新闻类APP入选APPSTORE2012 年度精选榜单免费TOP100,累计订阅刊物量达8.2,其中《央视财经》、《参考消息》等媒体刊物超过千万订阅量,是中国***的移动新媒体平台。

手机搜狐网是基于html5的开放系统,通过强入口(桌面客户端)和弱入口(浏览器、搜索引擎、手机厂商内置)的形式让亿万手机用户轻松无门槛进入手搜消费内容,手搜将是覆盖所有手机、浏览器***泛的内容平台之一,目前已经覆盖国内所有主流浏览器和主流手机。同时,手搜在营销方面具有延展性、可定制化、效果精准的优势。手搜还是高效的广告平台,有丰富的广告展现形式,灵活的交互机制。

联系方式

  • 公司地址:地址:span北京市海淀区科学院南路2号院3号楼搜狐媒体大厦