安顺招聘

职位描述：
职位描述：
1、负责大数据部门的数据采集与爬取、解析处理、入库及备份等数据日常工作；
2、数据采集工具软件平台的开发、测试工作
3、负责分析新的数据需求, 完成数据处理的设计(文档)和实现；
4、负责数据的清洗、整理、整合及合并等工作；
5、负责数据处理程序设计框架改善, 数据处理性能优化, 系统数据处理的能力提高；
6、负责和数据架构师、数据挖掘、分析人员协同工作, 完成数据的统计、查询和分析；
 
职位要求：
1、本科及以上学历, 计算机软件及相关专业；
2、熟悉网页抓取原理及技术，熟悉基于Cookie的网站登录原理，熟悉基于正则表达式、Xpath、CSS等网页信息；
3、2年以上数据采集、网络爬取的软件项目开发经验，熟练掌握对互联网上的网页数据采集。
4、有3年以上JAVA或C#开发经验，熟练掌握JAVA或C#开发语言及相应的常用开发框架。
熟练掌握数据库开发（MySQL或SQLServer），对数据处理和数据质量有较深认识
5、对HTTP协议及HTML有深入的了解，并在相应的网络爬虫应用开发经验。
6、精通网页抓取原理及技术，有社交媒体、交互式应用等大型网站爬虫开发经验者优先
 
有以下经验优先考虑：
1、熟悉Lucene/Nutch/Heritrix/HtmlParser/Solr等开源工具
2、熟悉数据采集、统计分析、数据仓库、数据挖掘、数据可视化、推荐系统等相关领域知识与算法
3、扎实的计算机软件设计开发技能、海量信息的分析与挖掘、机器学习等理论基础
4、具有大规模、海量分布式计算系统如Hadoop、ElasticSearch、Spark、数据仓库等研发经验 举报 分享

         上海奕见企业管理咨询有限公司是从事企业管理解决方案的专业咨询服务公司。业务领域涉及各行业，范围覆盖全国一、二线城市，客户包括世界500强知名企业以及各类外资机构驻中国办事处。