爬虫开发工程师
深圳市众乐网视文化传播有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-01-17
- 工作地点:上海
- 招聘人数:5人
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:1.5-3万/月
- 职位类别:软件工程师
职位描述
岗位职责:
1、负责研究网站特质,数据要素分析、提取、整合,网页信息抓取、解析、数据清洗等研发和优化工作;
2、参与爬虫相关数据存储机制设计,参与设计数据有效利用策略,从数据合理性、完整性角度提供建议
3、参与爬虫核心算法的策略优化研究,提升抓取的效率和质量。
4、维护现有网络爬虫系统,完成数据采集与爬取、解析处理、入库等数据日常工作,根进技术热点,及时更新新的爬虫功能;
5、负责设计公司网络爬虫的功能开发及优化;
6、负责爬虫核心技术研究、开发工作,对反爬虫屏蔽具有相应的应对策略。
任职要求:
1、具有3年以上爬虫开发经验者;
2 精通至少一门编程语言. nodejs,python 优先.
3、熟悉linux平台、shell编程,熟悉常用的爬虫框架如scrapy;
4、对数据结构和算法设计有较为深刻的理解,具有良好的沟通能力和团队合作意识;
5、熟悉正则表达式,Jsoup、XPATH,CSS选择器,能够从结构化和非机构化的数据中获取信息,了解各种Web前端技术,包括HTML/XML/JavaScript/AJAX/JSON等;
6、实现大规模文本、图像、视频数据的抓取工作,掌握简单的验证码识别技术、AJAX网页采集技术 以及爬虫高并发技术;
7、熟练使用Mysql、Mongodb等SQL、NoSQL数据库,精通数据结构和算法设计,有分布式编程经验者优先;
8、对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验;
公司介绍
深圳众乐网视致力于文化传播、电子商务及相关网络技术、软件应用及互联网运营等的开发与服务,公司的主营业务包括各类游戏、应用app、社区交流平台、电子商务平台的技术研发等,项目遍布多个城市地区。公司拥有一批长期专业从事软件开发、软件应用定制的专业人才,具有雄厚的技术开发实力,卓越的互联网娱乐运营经验,全方位满足企业信息化需求。
现因业务发展需要,需引进一批互联网行业技术研发人才,会根据强项优势、技术特点、擅长技术语言、过往项目经历等,匹配到相应城市的岗位工作!
我们将为您提供:
温馨简约的办公环境;
办公区内乒乓球、台球、飞镖、跑步机、游泳、健身、按摩室等休闲设施,任您随意消遣,瞬间秒杀肌肉男、腹肌妹!
各种花样团建活动、各种轰趴、各种社团、各种嗨;
自由的发挥空间(在您的专业领域,我们全听您的);
核心骨干享受公司分红,分到你手软;
难得的学习机会。有趣的团队分享、特色好玩的户外小游戏、定期的大伽沙龙,让团队所有人都能够愉快地学习、玩耍;
做一件意义非凡事情的快感与成就感。
期待您的加盟!
现因业务发展需要,需引进一批互联网行业技术研发人才,会根据强项优势、技术特点、擅长技术语言、过往项目经历等,匹配到相应城市的岗位工作!
我们将为您提供:
温馨简约的办公环境;
办公区内乒乓球、台球、飞镖、跑步机、游泳、健身、按摩室等休闲设施,任您随意消遣,瞬间秒杀肌肉男、腹肌妹!
各种花样团建活动、各种轰趴、各种社团、各种嗨;
自由的发挥空间(在您的专业领域,我们全听您的);
核心骨干享受公司分红,分到你手软;
难得的学习机会。有趣的团队分享、特色好玩的户外小游戏、定期的大伽沙龙,让团队所有人都能够愉快地学习、玩耍;
做一件意义非凡事情的快感与成就感。
期待您的加盟!