爬虫工程师(深圳)
平安科技(深圳)有限公司
- 公司规模:1000-5000人
- 公司性质:合资(非欧美)
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-11-24
- 工作地点:深圳-福田区
- 工作经验:无工作经验
- 学历要求:本科
- 职位月薪:1-1.5万/月
- 职位类别:数据库工程师/管理员
职位描述
职位描述:
岗位职责:
1、负责开发网络爬虫系统,完成数据采集与爬取、解析处理、入库等数据日常工作;
2、研究各种网页探寻特点和规律,负责网页信息抽取、数据清洗等研发和优化工作;
3、负责领域知识的定向爬取、深度提取和挖掘;
4、配合数据的清洗、整理、去重及合并等工作;
5、负责性能优化、处理能力和效率提高;负责与大数据工程师、数据挖掘、分析人员、运营及产品等协同工作,完成数据统计、查询和分析。
任职要求:
1、熟悉多线程、多进程、网络通信编程相关知识
2、两年以上大规模网页爬虫开发经验 熟悉JS,ajax,网页消重
3、能够总结分析不同网站,网页的结构特点及规律
4、有分布式、垂直领域爬虫开发经验优先
5、良好的逻辑思维能力,能够从海量数据中发现有价值的规律
6、熟悉CC、Java、Python 语言编程,对数据结构和算法设计有较为深刻的理解
7、熟悉正则表达式,用于从各种网络结构化和非结构化数据中抽取有用的信息;
8、优秀的分析问题和解决问题的能力,对解决具有挑战性问题充满激情
9、良好的团队合作精神,较强的沟通能力
岗位职责:
1、负责开发网络爬虫系统,完成数据采集与爬取、解析处理、入库等数据日常工作;
2、研究各种网页探寻特点和规律,负责网页信息抽取、数据清洗等研发和优化工作;
3、负责领域知识的定向爬取、深度提取和挖掘;
4、配合数据的清洗、整理、去重及合并等工作;
5、负责性能优化、处理能力和效率提高;负责与大数据工程师、数据挖掘、分析人员、运营及产品等协同工作,完成数据统计、查询和分析。
任职要求:
1、熟悉多线程、多进程、网络通信编程相关知识
2、两年以上大规模网页爬虫开发经验 熟悉JS,ajax,网页消重
3、能够总结分析不同网站,网页的结构特点及规律
4、有分布式、垂直领域爬虫开发经验优先
5、良好的逻辑思维能力,能够从海量数据中发现有价值的规律
6、熟悉CC、Java、Python 语言编程,对数据结构和算法设计有较为深刻的理解
7、熟悉正则表达式,用于从各种网络结构化和非结构化数据中抽取有用的信息;
8、优秀的分析问题和解决问题的能力,对解决具有挑战性问题充满激情
9、良好的团队合作精神,较强的沟通能力
职能类别: 数据库工程师/管理员
公司介绍
平安科技(深圳)有限公司成立于2008年9月,是世界500强企业——中国平安保险(集团)股份有限公司旗下全资子公司,其前身为平安集团的信息管理中心。
公司总部设在深圳,上海、成都、南京设有分公司,目前已拥有2500多名专业IT技术人员和IT管理专家。平安科技在金融保险行业内被誉为黄埔军校,培养了许多业内的精英技术人才。
平安科技的成立是平安集团在IT领域的里程碑事件之一,标志着中国平安向IT专业化领域迈进,并开启“科技引领金融”的探索模式。
使命与硕果
平安科技肩负集团“科技引领金融”的使命,不断利用科技手段推进及引领业务变革,始终走在中国金融IT的前列,取得了一个个令业界瞩目的成就:
2000年:国内寿险业***家全国性电话中心——平安全国电话中心95511开通;
尝试开展互联网业务,一站式综合理财网站PA18启用。
2003年:建立深圳、上海两大数据中心,实现全国数据集中。
2003年:EOA系统上线,实现内部办公电子化。
2004年:***家实现车险全国通赔。
2004年:开展首届IT灾难恢复计划,建立每年灾难恢复计划,降低业务经营风险。
2007年:完成平安一账通平台建设,实现“一个客户、一个帐户、多种产品、一站式服务”的平安综合金融网上服务平台。
2010年:推出业内***的平安MIT移动展业平台,将无纸化作业的低碳环保理念成功应用到保险销售领域,在国内乃至国际人寿保险销售领域都处于领先地位。
2011年:出品远程金融服务一体机,实现全天候,无间断、无区域差别的综合金融服务。
2013年:试水互联网金融,平安天下通1.0正式上线。
2013年:取得“国家重点软件企业”、“国家高新技术企业”资质,获得科技行业***荣誉。
展望
平安科技是平安集团的高科技内核,为引领平安集团下一步增长的关键核心驱动力。在未来几年,平安科技将始终坚持“科技引领金融”之路,继续往“移动互联”、 “云” 、“大数据”三大方向发展,打造先进的IT组织、强化基础支持核心业务、携手平安各业务公司开拓创新,牵头探索互联网新业务模式。
公司总部设在深圳,上海、成都、南京设有分公司,目前已拥有2500多名专业IT技术人员和IT管理专家。平安科技在金融保险行业内被誉为黄埔军校,培养了许多业内的精英技术人才。
平安科技的成立是平安集团在IT领域的里程碑事件之一,标志着中国平安向IT专业化领域迈进,并开启“科技引领金融”的探索模式。
使命与硕果
平安科技肩负集团“科技引领金融”的使命,不断利用科技手段推进及引领业务变革,始终走在中国金融IT的前列,取得了一个个令业界瞩目的成就:
2000年:国内寿险业***家全国性电话中心——平安全国电话中心95511开通;
尝试开展互联网业务,一站式综合理财网站PA18启用。
2003年:建立深圳、上海两大数据中心,实现全国数据集中。
2003年:EOA系统上线,实现内部办公电子化。
2004年:***家实现车险全国通赔。
2004年:开展首届IT灾难恢复计划,建立每年灾难恢复计划,降低业务经营风险。
2007年:完成平安一账通平台建设,实现“一个客户、一个帐户、多种产品、一站式服务”的平安综合金融网上服务平台。
2010年:推出业内***的平安MIT移动展业平台,将无纸化作业的低碳环保理念成功应用到保险销售领域,在国内乃至国际人寿保险销售领域都处于领先地位。
2011年:出品远程金融服务一体机,实现全天候,无间断、无区域差别的综合金融服务。
2013年:试水互联网金融,平安天下通1.0正式上线。
2013年:取得“国家重点软件企业”、“国家高新技术企业”资质,获得科技行业***荣誉。
展望
平安科技是平安集团的高科技内核,为引领平安集团下一步增长的关键核心驱动力。在未来几年,平安科技将始终坚持“科技引领金融”之路,继续往“移动互联”、 “云” 、“大数据”三大方向发展,打造先进的IT组织、强化基础支持核心业务、携手平安各业务公司开拓创新,牵头探索互联网新业务模式。
联系方式
- Email:15019206278@163.com