python爬虫开发工程师
上海橘涞金融信息服务有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:金融/投资/证券
职位信息
- 发布日期:2020-09-05
- 工作地点:上海-浦东新区
- 招聘人数:1人
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:0.8-1万/月
- 职位类别:爬虫开发工程师 数据库工程师(DBA)
职位描述
职位信息:
1.负责公司数据源抓取需求,满足公司对多源数据采集要求;
2.负责开发分布式爬虫框架,管理分布式爬虫服务器,开发任务调度引擎;
3.负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量,提升网页抓取的效率和质量;
4.设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点攻克;
5.参与公司底层数据有关的平台、工具建设。
任职要求:
1.本科及以上学历,计算机、数学、统计等相关专业, 1年及以上工作经验;
2. 精通Python语言, 至少1年Python相关的开发经验;
3.有Python分布式抓取系统的开发、架构经验;
4.有海量数据爬取、解析、清洗、存储相关项目经验
5.熟悉网页抓取原理及技术,能够总结分析不同网站,网页的结构特点及规律;
6. 熟悉反爬策略的应对,能够解决封账号、封IP采集等问题;
7.能独立完成主流门户网站的爬虫项目;
8.熟悉数据库操作原理以及数据库的速度优化.
薪酬待遇:本公司为初创公司,主要服务国内大型金融投资机构,创始人均为金融、计算机、财经媒体资深人士,所从事工作具有开创性和较高上升空间,公司对新入职员工提供一对一的专项业务培训,并提供完善的薪酬福利安排和职位提升空间,具体薪酬面议,特别优秀者工作一定阶段后可纳入公司优秀员工股权期权计划。
工作地点:上海市浦东新区栖霞路16号陆家嘴富汇大厦8楼。
公司介绍:上海橘涞金融信息服务有限公司成立于2017年2月13日,公司致力于金融投资机构投资风险与声誉风险管理研究与服务领域,提供基于互联网数据挖掘和风险管理量化模型为基础的金融机构声誉风险和投资风险预警服务,主要业务对象和合作伙伴为公募基金、商业银行、上市公司、监管机构。
职能类别:爬虫开发工程师数据库工程师(DBA)
公司介绍
联系方式
- 公司地址:地址:span浦东新区栖霞路16号富汇大厦C座8层101