网络爬虫工程师
深圳市亿联智能有限公司
- 公司规模:1000-5000人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2022-06-29
- 工作地点:深圳-宝安区
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:1-1.5万
- 职位类别:Python开发工程师
职位描述
职位信息:
1.负责网页信息爬取和页面内容的提取分析,负责破解各类反爬机制;
2.负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力;
3.研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量。
岗位要求:
1.熟悉scrapy等主流爬虫框架原理,能够解决封账号、封IP、网页限制爬取等问题;
2.熟悉Appium、Selenium、PhantomJS等技术的应用;
3.熟练使用Python requests、xpath、BeautifulSoup、正则等模块;
4.熟悉flask、fastapi等web框架的使用;
5.熟练使用MySQL、MongoDB、redis等数据库;
6.熟悉shell操作、了解Linux基础;
7.有Nginx、uwsgi使用经验;
8.具备良好的前端分析能力,具有团队合作精神,有较强的协调和沟通能力;
9.3年以上工作经验。
1.负责网页信息爬取和页面内容的提取分析,负责破解各类反爬机制;
2.负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力;
3.研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量。
岗位要求:
1.熟悉scrapy等主流爬虫框架原理,能够解决封账号、封IP、网页限制爬取等问题;
2.熟悉Appium、Selenium、PhantomJS等技术的应用;
3.熟练使用Python requests、xpath、BeautifulSoup、正则等模块;
4.熟悉flask、fastapi等web框架的使用;
5.熟练使用MySQL、MongoDB、redis等数据库;
6.熟悉shell操作、了解Linux基础;
7.有Nginx、uwsgi使用经验;
8.具备良好的前端分析能力,具有团队合作精神,有较强的协调和沟通能力;
9.3年以上工作经验。
职能类别:Python开发工程师
公司介绍
深圳市亿联智能有限公司,国家高新技术企业、双软企业、电子商会常务理事单位、中国机电进出口商会会员企业,一直致力于智慧家庭终端产品的研发、生产和销售,已在三网融合、智慧家庭、物联网等领域取得较为瞩目的成绩。
亿联在深圳、合肥、迪拜、天津、韩国等多地设立研发中心,累计研发人员将近300人,并与南开大学、清华大学开展产学研合作。在南美、东南亚、非洲、中东和欧洲设立了办事处。公司自成体系的销售队伍及遍布海内外的办事处和完善的代理销售网络,将公司的产品销往全球60多个国家和地区。
亿联智能,传承智慧生活主义。崇尚“以人为本,以家庭生活为中心”的设计理念,强调视觉艺术和功能实用性的双重追求。旨在将现代家庭进化成为集视觉快乐、愉悦心情、情感沟通于一体的智慧家庭生活新乐园。
亿联在深圳、合肥、迪拜、天津、韩国等多地设立研发中心,累计研发人员将近300人,并与南开大学、清华大学开展产学研合作。在南美、东南亚、非洲、中东和欧洲设立了办事处。公司自成体系的销售队伍及遍布海内外的办事处和完善的代理销售网络,将公司的产品销往全球60多个国家和地区。
亿联智能,传承智慧生活主义。崇尚“以人为本,以家庭生活为中心”的设计理念,强调视觉艺术和功能实用性的双重追求。旨在将现代家庭进化成为集视觉快乐、愉悦心情、情感沟通于一体的智慧家庭生活新乐园。
联系方式
- 公司地址:宝安区西乡街道广深公路与通成路交汇处汇智研发中心B栋706 (邮编:518100)