上海 [切换城市] 上海招聘上海计算机软件招聘上海软件工程师招聘

爬虫开发工程师

深圳市众乐网视文化传播有限公司

  • 公司规模:150-500人
  • 公司性质:民营公司
  • 公司行业:计算机软件

职位信息

  • 发布日期:2019-01-17
  • 工作地点:上海
  • 招聘人数:5人
  • 工作经验:3-4年经验
  • 学历要求:大专
  • 职位月薪:1.5-3万/月
  • 职位类别:软件工程师

职位描述

岗位职责:

1、负责研究网站特质,数据要素分析、提取、整合,网页信息抓取、解析、数据清洗等研发和优化工作;

2、参与爬虫相关数据存储机制设计,参与设计数据有效利用策略,从数据合理性、完整性角度提供建议

3、参与爬虫核心算法的策略优化研究,提升抓取的效率和质量。

4、维护现有网络爬虫系统,完成数据采集与爬取、解析处理、入库等数据日常工作,根进技术热点,及时更新新的爬虫功能;

5、负责设计公司网络爬虫的功能开发及优化;

6、负责爬虫核心技术研究、开发工作,对反爬虫屏蔽具有相应的应对策略。

任职要求:

1、具有3年以上爬虫开发经验者;

2 精通至少一门编程语言. nodejs,python 优先.

3、熟悉linux平台、shell编程,熟悉常用的爬虫框架如scrapy

4、对数据结构和算法设计有较为深刻的理解,具有良好的沟通能力和团队合作意识;

5、熟悉正则表达式,JsoupXPATHCSS选择器,能够从结构化和非机构化的数据中获取信息,了解各种Web前端技术,包括HTMLXMLJavaScriptAJAXJSON;

6、实现大规模文本、图像、视频数据的抓取工作,掌握简单的验证码识别技术、AJAX网页采集技术 以及爬虫高并发技术;

7、熟练使用MysqlMongodbSQLNoSQL数据库,精通数据结构和算法设计,有分布式编程经验者优先;

8、对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验;

职能类别: 软件工程师

关键字: 爬虫

公司介绍

深圳众乐网视致力于文化传播、电子商务及相关网络技术、软件应用及互联网运营等的开发与服务,公司的主营业务包括各类游戏、应用app、社区交流平台、电子商务平台的技术研发等,项目遍布多个城市地区。公司拥有一批长期专业从事软件开发、软件应用定制的专业人才,具有雄厚的技术开发实力,卓越的互联网娱乐运营经验,全方位满足企业信息化需求。
      现因业务发展需要,需引进一批互联网行业技术研发人才,会根据强项优势、技术特点、擅长技术语言、过往项目经历等,匹配到相应城市的岗位工作!

      我们将为您提供:
      温馨简约的办公环境;
      办公区内乒乓球、台球、飞镖、跑步机、游泳、健身、按摩室等休闲设施,任您随意消遣,瞬间秒杀肌肉男、腹肌妹!
      各种花样团建活动、各种轰趴、各种社团、各种嗨;
      自由的发挥空间(在您的专业领域,我们全听您的);
      核心骨干享受公司分红,分到你手软;
      难得的学习机会。有趣的团队分享、特色好玩的户外小游戏、定期的大伽沙龙,让团队所有人都能够愉快地学习、玩耍;
      做一件意义非凡事情的快感与成就感。

      期待您的加盟!