上海招聘

职位描述：
岗位职责：：
1. 负责大数据部门的数据采集与爬取、解析处理、入库及备份等数据日常工作；
2. 数据采集工具软件平台的开发、测试工作
3. 负责分析新的数据需求, 完成数据处理的设计(文档)和实现；
4. 负责数据的清洗、整理、整合及合并等工作；
5. 负责数据处理程序设计框架改善, 数据处理性能优化, 系统数据处理的能力提高；
6. 负责和数据架构师、数据挖掘、分析人员协同工作, 完成数据的统计、查询和分析；
 
职位要求：
1. 大专及以上学历, 计算机软件及相关专业；
2. 熟悉网页抓取原理及技术，熟悉基于Cookie的网站登录原理，熟悉基于正则表达式、Xpath、CSS等网页信息；
3. 1年以上数据采集、网络爬取的软件项目开发经验，熟练掌握对互联网上的网页数据采集。
4. 有3年以上JAVA或C#开发经验，熟练掌握JAVA或C#开发语言及相应的常用开发框架。
5. 熟练掌握数据库开发（MySQL或SQLServer），对数据处理和数据质量有较深认识
6. 对HTTP协议及HTML有深入的了解，并在相应的网络爬虫应用开发经验。
7. 精通网页抓取原理及技术，有社交媒体、交互式应用等大型网站爬虫开发经验者优先
 
有以下经验优先考虑：
1. 熟悉Lucene/Nutch/Heritrix/HtmlParser/Solr等开源工具
2. 熟悉数据采集、统计分析、数据仓库、数据挖掘、数据可视化、推荐系统等相关领域知识与算法
3. 扎实的计算机软件设计开发技能、海量信息的分析与挖掘、机器学习等理论基础
4. 具有大规模、海量分布式计算系统如Hadoop、ElasticSearch、Spark、数据仓库等研发经验

备注： 此岗位为我公司总部招聘岗位，上班地址为：贵州贵阳贵安新区花溪大学城. 欢迎有意之士投简历！ 举报 分享

贵州数据宝网络科技有限公司（简称：数据宝），中国领先的国有数据资产增值运营服务商，2016 年成立于中国首个大数据综合试验区贵州省贵安新区，承担国有大数据资产增值共享开放流通先行试点之重任；
股东方包括：贵州省贵安新区（产业基金）、中科院中科创星（产业基金）、国家工业信息安全发展研究中心（工业和信息化部电子***研究所）全资子公司、海尔（旗下青岛政府引导基金）及上海拓鹏集团；同时也是华东江苏大数据交易中心的股东方与运营方、重庆数据资产交易中心的联合筹建方;
数据宝是国内少数同时具备了“国资参股、政府监管扶持、市场化运作、大数据资产交易合法经营资质”属性的大数据“国家队”。
数据宝目前已对接公安、司法、交通、银联、运营商、民航、气象等数十个国家部委及央企的权威、合法、多源国有数据，为近万家行业代表企业提供数据服务，涵盖金融、互联网、电子商务、房屋租赁、共享出行等数十个领域，帮助企业依托“大数据+”实现生产力和竞争力的提升，使国有数据在流通中产生价值，成为助推产业发展和经济建设的中坚力量。

企业使命：激活国有数据价值，引领行业合法合规发展
企业愿景：打造中国***的国有数据生态圈
企业文化：开放、务实、纪律、高效、感恩

别总是躲在虚无的角落暗暗惴惴不安
该走出去看看了，
正如这春暖花开，万物生长之季。

来这里，
这里有一群有理想、有激情的年轻人，勇于挑战、乐于分享、追求卓越、共同体验成功的快感；
这里有人性化的管理理念，平等民主，氛围融洽，思维活跃；
这里以目标为导向，以成果为标准，崇尚高效务实；

如果你有冲劲、有闯劲、有激情，敢于想象、梦想未来、改变人生。
来数据宝，选择一个新的工作
实现更好的生活，遇见更好的自己！
.
数据宝官方网站：******************;
HR邮箱：joycediaog@chinadatapay.com/joycediao@chinadatapay.com