长沙招聘

岗位职责：
1、负责多平台信息抓取、清洗、转换等处理工作，搭建自动化的数据生产线；过滤敏感词，完成数据去重；
2、参与公司爬虫系统的架构设计和开发，监控和优化爬虫系统，提升性能和增强功能；
3、理解大数据业务分析需求，开展需求分析、指标设计、数据评估等；
4、解决实际工作中遇到的各种疑难杂症。

岗位要求：
1、计算机相关专业，本科及以上学历，熟练使用python，有2年以上爬虫工作经历，熟悉爬虫抓取原理，了解反爬策略；
2、熟练掌握MySQL/Oracle数据库，对SQL优化有丰富的经验；
3、熟悉Linux操作系统，熟练使用各种系统命令；
4、有以下经验优先：熟悉大数据开发相关技术如elasticsearch/clickhouse/kafaka等；或有高并发、大数据量下应用性能优化经验；或熟悉hadoop生态，spark、flink等大数据分布式计算框架，有过独立设计与搭建数据平台或建仓经验者等。有大数据AI项目经验优先。
职能类别：
爬虫开发工程师
关键字：
计算机mysql数据去重反爬爬虫pythonlinuxoracle数据库敏感词

武汉君行企业服务有限公司(以下简称“君行控股”），自成立以来一直专注于为县域中小微企业提供专业的诊断服务，通过实地诊断、现场研讨、管理培训等多种方式累计服务了13个省份、30多个行业、1000多家中小微企业。君行控股围绕企业诊断为企业提供规范经营辅导、企业股份改制辅导、区域股权交易市场挂牌、企业融资服务、股权顶层设计、企业经营顾问及中小企业服务中心运营管理服务，是一家综合型企业经营管理运营服务机构。

旗下湖北计研数字科技有限公司（下简称“计研数字”）为武汉君行企业服务有限公司全资投资控股，依托君行控股成熟的线下诊断服务经验，创造性地建立了信息互通、知识共享的中小微企业信息共享服务平台（下简称“平台”）。平台以云计算技术为承载，深度融合大数据、人工智能、区块链等新一代数字技术，打造线上线下一体化的服务体系。