中级爬虫工程师
上海聚发全信息科技有限公司
- 公司规模:500-1000人
- 公司性质:民营
- 公司行业:酒店/旅游 互联网/电子商务
职位信息
- 发布日期:2024-07-12
- 工作地点:长沙·芙蓉区
- 工作经验:3-5年
- 学历要求:大专
- 职位月薪:1.3-1.5万·13薪
- 职位类别:数据库工程师/管理员 临床数据分析员
职位描述
岗位职责:
1. 设计并实现高效的数据抓取策略,针对不同的网站结构优化爬虫性能。
2. 开发和维护大规模网络爬虫系统,确保数据的准确性和完整性。
3. 分析目标网站的HTML、CSS和JavaScript代码,解决反爬虫机制。
4. 使用如Scrapy、BeautifulSoup、lxml、Selenium等工具和技术进行网页解析和数据提取。
5. 设计数据存储方案,使用数据库或NoSQL系统如MySQL、S3, Big query 存储抓取的数据。
6. 实现数据清洗和预处理,准备用于数据分析或机器学习模型的数据集。
7. 与团队成员合作,持续改进爬虫系统的架构和效率。
8. 遵守法律法规,确保数据采集过程合法合规。
岗位要求:
1. 3-5年的爬虫开发经验,有大型爬虫项目实施的成功案例。
2. 熟练掌握至少一种编程语言(如Python、Js),有Python经验者优先。
3. 精通网络协议(HTTP/HTTPS)、HTML、CSS和JavaScript。
4. 了解常见的Web框架和数据库系统。
5. 具备良好的问题解决能力和独立工作能力。
1. 设计并实现高效的数据抓取策略,针对不同的网站结构优化爬虫性能。
2. 开发和维护大规模网络爬虫系统,确保数据的准确性和完整性。
3. 分析目标网站的HTML、CSS和JavaScript代码,解决反爬虫机制。
4. 使用如Scrapy、BeautifulSoup、lxml、Selenium等工具和技术进行网页解析和数据提取。
5. 设计数据存储方案,使用数据库或NoSQL系统如MySQL、S3, Big query 存储抓取的数据。
6. 实现数据清洗和预处理,准备用于数据分析或机器学习模型的数据集。
7. 与团队成员合作,持续改进爬虫系统的架构和效率。
8. 遵守法律法规,确保数据采集过程合法合规。
岗位要求:
1. 3-5年的爬虫开发经验,有大型爬虫项目实施的成功案例。
2. 熟练掌握至少一种编程语言(如Python、Js),有Python经验者优先。
3. 精通网络协议(HTTP/HTTPS)、HTML、CSS和JavaScript。
4. 了解常见的Web框架和数据库系统。
5. 具备良好的问题解决能力和独立工作能力。
公司介绍
易出行(Elife),全球专车服务平台,主要为用户提供全球接送机、团体包车、专业商旅用车、奢华定制专车等用车服务,目前已覆盖全球150个国家,1500+机场,2w多个城市。 公司致力于打造(啥车都有)车型最丰富,(去哪都行)全球覆盖面***的专车服务平台,为用户一站式解决所有场景的用车需求。 【团队介绍】 一个极具包容性的大家庭,融聚国内外优秀人才,团队成员遍布全球,上海、长沙甚至旧金山、阿根廷等城市,国内外团队致力于一个共同目标,通过线上协同高效办公。 其中技术团队,由留学海外的资深技术大牛带队,汇集国外优秀技术人才,国内名校计算机专业毕业的年轻力量,为业务实现提供强有力的支持。运营团队base长沙,以90、00后居多,多来自互联网大厂,公司管理扁平化,工作氛围融洽。 【加入我们】 来易出行,开启你的职业生涯探索之旅,你可以积极地塑造自己的角色,突破界限,发挥你对公司及行业的影响,在不断变化中茁壮成长。
联系方式
- 公司地址:上海浦东区陆家嘴生命人寿大厦708室 (邮编:200120)
- 联系人:sylvia