爬虫开发工程师
厦门星火相连教育科技有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:教育/培训/院校
职位信息
- 发布日期:2021-06-02
- 工作地点:厦门-湖里区
- 招聘人数:若干人
- 工作经验:1年经验
- 学历要求:本科
- 职位月薪:7-9千/月
- 职位类别:爬虫开发工程师
职位描述
主要职责:
1. 负责网站、网页、链接的特征挖掘;对指定的多个网站进行网页抓取、数据的提取、清洗、入库;开发垂直站点定向抓取程序。
具体要求:
1. 熟悉 Python,有数据挖掘经验;
2· 熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理,熟悉基于正则表达式、Xpath、CSS等网页信息抽取技术;
3. 熟悉网络编程(TCP/HTTP 协议),具有 Linux 下编程经验和操作经验;;
4· 熟悉多线程,熟悉使用至少一种关系型数据库(MYSQL)等,熟悉NOSQL、hbase技术者优先;
5. 了解分布式系统的设计与实现,能够解决反爬虫、网络异常等各种常见爬虫问题;
6. 优秀的分析、解决问题能力,对处理未知的、挑战性问题充满激情;
任职资格:
1、统招一本以上学历,计算机相关专业;
2、熟悉Linux系统,掌握Python开发语言。
3、熟悉mysql、redis,mongodb等数据库。
4、有scrapy、pyspider等爬虫框架使用经验。
5、熟悉基于正则表达式、XPath、jsonPath、CSS等网页信息抽取技术。
工作时间:9:00-12:00 1:30-6:30 目前大小周
福利 :
1、提供社保,年终奖、工龄奖、节假日红包礼品等
2、法定节日福利 (春节 端午 中秋等)
3、贴心下午茶,丰富的员工活动游戏。
4、公司不定期组织旅游、团建。
公司介绍
主做K12教育
联系方式
- 公司地址:地址:span厦门湖里区锦厦科技研究大厦A座7楼(哥们网那栋)