爬虫工程师
深圳市和合信诺大数据科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机服务(系统、数据服务、维修)
职位信息
- 发布日期:2019-06-13
- 工作地点:深圳-南山区
- 招聘人数:2人
- 工作经验:无工作经验
- 学历要求:招2人
- 语言要求:不限
- 职位月薪:2.5-4万/月
- 职位类别:其他
职位描述
1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;
2、负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率;3、实时监控爬虫的进度和警报反馈;
3、抓取策略算法的更新维护,以及确保数据抽取准确、高效;
4、对抓取的网页进行模块分析以及数据抽取还原。
任职要求:
1、2年以上的爬虫经验,有扎实的算法和数据结构能力具备强悍的编码能力;
2、熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;
3、熟悉tcp,http协议原理;熟悉ajax工作原理;精通Python编程,至少熟悉一种开源爬虫框架和源码;
4、掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;
5、熟悉html标签,html模块解析、拆分、样式还原等;
6、熟悉html样式,js脚本,js渲染。 备注:本岗位需要对html分模块解析,根据url实时解析文章内容并返回,需具备模块拆解、网页解析后样式还原等能力。
职能类别: 其他
公司介绍
深圳市和合信诺大数据科技有限公司创始股东为Fintech行业资深专家,公司由国内知名基金管理公司、花旗银行全球研发中心-风险管理核心研发团队、银行业资深专家共同组成。
和合信诺将利用大数据建模、智能数据分析、分布式计算等前沿技术应用,为银行、保险等金融相关机构提供数据挖掘、数据建模和数据咨询服务,帮助金融机构完善客户全生命周期管理、提升整体运营管理水平的高科技公司。
和合信诺秉承“数据说话”理念,专注数据模型分析、金融机构隐藏价值挖掘及适当性产品服务匹配,致力于帮助传统金融机构实现转型升级。紧随趋势,利用先进技术的手段助力实业与金融的紧密结合,秉承“脱虚向实、产融结合”的目标,共话“资本与产业的持续创新”的宏伟目标。
公司总部地址:深圳市南山区科技园科苑路15号科兴科学园B2座902
上海研发中心:上海张江高科技园区纳贤路800号
和合信诺将利用大数据建模、智能数据分析、分布式计算等前沿技术应用,为银行、保险等金融相关机构提供数据挖掘、数据建模和数据咨询服务,帮助金融机构完善客户全生命周期管理、提升整体运营管理水平的高科技公司。
和合信诺秉承“数据说话”理念,专注数据模型分析、金融机构隐藏价值挖掘及适当性产品服务匹配,致力于帮助传统金融机构实现转型升级。紧随趋势,利用先进技术的手段助力实业与金融的紧密结合,秉承“脱虚向实、产融结合”的目标,共话“资本与产业的持续创新”的宏伟目标。
公司总部地址:深圳市南山区科技园科苑路15号科兴科学园B2座902
上海研发中心:上海张江高科技园区纳贤路800号
联系方式
- 公司地址:地址:深圳市南山区科技园科苑路15号科兴科学园B2座902