武汉招聘

职位描述：
岗位职责：
1、负责分布式网络爬虫系统设计，搭建系统框架，开发分布式网络爬虫系统。
2、研究垂直领域的视频网页特点和规律，完成对垂直领域的视频网页信息定向爬取、深度提取和挖掘。
3、负责对数据进行分类、抽取、清洗入库等数据生产工作。
4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
5、能独立解决实际开发过程碰到的各类问题；


任职要求：
1、熟悉linux平台开发，3年以上Java、或python开发经验；
2、熟悉网页爬取原理及技术，熟悉深度抓取、动态网页抓取技术、熟悉请求伪装，模拟登陆，代理应用，爬虫和反爬技术。
3、有nutch抓取经验或者其他分布式抓取经验者优先；
4、熟悉hadoop、hbase、Solr、hive、redis、mongodb等相关技术者优先，同时熟悉mysql更佳；
5、具有验证码破解经验者优先。
6、具有视频信息相关爬虫经验者优先；
7、熟悉搜索引擎和个性化推荐相关技术，精通主流分词算法、分类、提取摘要、大规模网页聚类、索引、检索等相关开发经验者优先。 举报 分享

武汉沃达文化传媒有限公司成立时间于 2014年 7 月，办公地位于***科技孵化器 - 中国光谷创意产业基地内，是目前腾讯最大的影视产品内容提供商、腾讯唯一官方认证的游戏解说培训基地,国内最优秀的游戏影视后期制作公司以及国内首家专业游戏解说公司，主要业务包括：影视后期制作、游戏解说经纪、软件开发、网络直播平台、电商网站。