python高级爬虫工程师
上海蜜度信息技术有限公司
- 公司规模:500-1000人
- 公司性质:合资(非欧美)
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2020-08-21
- 工作地点:上海
- 招聘人数:若干人
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:1.5-2万/月
- 职位类别:Python开发工程师
职位描述
岗位职责:
-负责相关网站、论坛、app的爬虫设计和开发,以及策略持续优化;
-分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗;
-解决反爬疑难问题,设计及优化大型分布式爬虫系统等;
任职要求:
1、本科及以上学历,计算机软件或相关专业,三年及以上python开发经验;
2、掌握网络爬虫开发原理,熟悉互联网各种类型数据交互模式;
3、掌握HTML,JS,精通JS逆向;精通常见的反爬虫技术如文本混淆反爬虫、验证码等;
4、精通scrapy爬虫框架,对分布式爬虫、海量数据采集有深刻的理解;
5、熟练掌握正则表达式、XPath等信息抽取技术。
6、有通用网站和论坛爬取及解析的经验如Readability、Newspaper等;
7、对app逆向,反编译和站点参数加密、js混淆有一定经验;
8、具备良好的沟通能力和团队协作能力。
职能类别:Python开发工程师
公司介绍
上海蜜度信息技术有限公司(中文简称:蜜度信息;英文简称:Sina·MData),是中国领新的数据智能科技企业,创立于2009年,专注于大数据与人工智能技术,为数字政府、数字营销、数字媒体、数字城市的建设提供全方位的应用服务解决方案。
Sina·MData旗下的新浪舆情通主要面向政府和大型企业客户,为政企舆情大数据服务平台。
上海蜜度已完成新浪微博领投的C轮融资,现有员工700多人,计划招聘产品设计与技术开发人员、行业拓展、渠道运营人员若干名,欢迎应届毕业生与拥有一定经验的互联网从业人士加入。
Sina·MData旗下的新浪舆情通主要面向政府和大型企业客户,为政企舆情大数据服务平台。
上海蜜度已完成新浪微博领投的C轮融资,现有员工700多人,计划招聘产品设计与技术开发人员、行业拓展、渠道运营人员若干名,欢迎应届毕业生与拥有一定经验的互联网从业人士加入。
联系方式
- Email:gaojing@miduchina.com
- 公司地址:广州大道中307号富力新天地2401室