深圳招聘

岗位职责：

1、负责分布式网络爬虫系统设计，搭建系统框架，开发分布式网络爬虫系统；

2、 完成数据采集爬取、解析提取、清洗入库等数据生产工作；

3、研究网页特点和规律，对网页信息进行分类、抽取、数据清洗、存储结构等研发和优化工作；

4、负责领域知识的定向爬取、深度提取和挖掘；

5、对数据进行清洗、整理、去重及合并等工作；

6、具有海量高并发数据爬取经验。

任职资格：

1、本科学历，计算机相关专业，3年以上的软件开发经验；

2、熟悉Python语言，精通网络爬虫开发，有反屏蔽经验更佳；

3、熟悉XML、HTML、JavaScript、JSON技术；

4、熟悉Mahout/R/MLLib中的一种算法框架；

5、有一定的架构设计能力，有很强的分析、解决问题的能力；

6、熟悉scrapy或selenium，熟悉mysql，mongodb等数据库，有数据库调优经验优先。

深圳市菲凡数据科技有限公司是一家以数据安全信息化技术、产品、服务为主业的高新技术企业。 拥有专业的互联网数据挖掘与信息处理技术，在信息抓取、 自然语言分析、人工智能和数据挖掘方面有深厚的技术背景。 公司在公安、金融、风控服务等领域有着突出的表现， 是国内领先的数据服务系统供应商，并拥有多个自主产权的数据信息技术服务系统。 公司成立初期，与中国行为法学会金融法律行为研究 会、中国人民公安大学侦查学院联合成立了“反金融欺诈研究中心”， 并正式研发推出“菲凡烽火台”反金融欺诈普惠平台。