厦门招聘

1、负责设计、开发、维护、重构分布式爬虫系统;

2、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析;

3、设计爬虫反屏蔽规则,提升网页抓取的效率和质量;

4、负责大规模爬虫系统的核心技术研究和开发;

5、实现数据提取、清洗、结构化、入库、统计分析等需求。

任职资格:

1、2年以上爬虫开发经验;

2、Pyhton语言基础扎实，有良好的编程功底和编码习惯;熟悉java优先;

3、熟悉HTTP、HTTPS等网络协议及数据抓包、分析;

4、掌握相关的数据存储工作，掌握mysql、redis、mongodb、es、hbase等相关技术,有数据库调优的经验;

5、熟悉app数据爬虫，熟悉pc端数据采集;

6、熟悉反爬机制,处理账号限制、复杂验证码、模拟登陆等疑难问题;

7、熟悉js逆向、app逆向优先;

8、具备大规模爬虫系统设计能力,熟悉评论采集等常见数据采集任务。

厦门黑谷网络科技有限公司是一家专业从事软件开发，通过共享系统模式，解决餐饮行业，汽车行业，美业行业门店客源，资金，员工，管理等问题的创新技术互联网公司，总部坐落于“高颜值的海上花园”~中国.厦门，办公场所位于商业聚集中心近3000㎡的6A超甲级豪华海景写字楼~万科云玺，员工近400人，黑谷科技运用互联网思维，大数据平台，致力于让传统行业的“生意变简单”！凭借在软件研发领悟11年积累的经验，黑谷科技已成为行业内知名的软件供应商，目前合作的门店超过3万家，足迹遍布全国
        黑谷为门店全方位打造成共享店铺提供专业的共享系统、整套策划方案和执行方案以及专家
团队执行落地。为门店的共享合作系统化、标准化、流程化，实现系统自动计算股东分红，
并让分红秒到，10天就能将共享店铺执行落地

概括总结：共享管理软件系统+落地执行服务，商业模式输出，通过互联网+共享经济为企业做解决方案，公司拥有25项专利技术，获得中国***商业模式创新奖，IT研发团队20_30人，客户群体是三大行业，餐饮，美业，汽车行业的负责人，股东，老板