java数据工程师（爬虫）
上海人科数据科技有限公司
- 公司规模：50-150人
- 公司性质：民营公司
- 公司行业：互联网/电子商务
职位信息
- 发布日期：2020-09-09
- 工作地点：上海-长宁区
- 招聘人数：1人
- 工作经验：3-4年经验
- 学历要求：本科
- 职位月薪：1.5-2万/月
- 职位类别：Java开发工程师 爬虫开发工程师
职位描述
岗位职责：
1. 负责爬虫系统架构和数据存储设计， 建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善；
2. 理解系统数据处理流程以及业务功能需求，能按照给定的信息通过爬虫恒定获取需要的关键信息；
3、按照开发规范、编码规范开发。具备良好的质量，Review团队代码，排除Bug，支持并解决团队其他人员开发中遇到困难和问题；
4、撰写并规范各类系统设计文档；
5、参与日常运维，解决系统运行中遇到的相关问题，给出优化建议；
6、迭代优化系统，按需重构系统架构，优化系统性能，提升系统安全性、稳定性；
7、维护和升级现有软件产品，快速定位并修复现有软件缺陷。
岗位要求：
1、4年以上java使用经验，本科或以上学历，计算机软件或相关专业；
2、精通JAVA语言、精通J2EE架构，熟悉python 有扎实的编程功底；
3、精通分布式架构体系，从事过1年以上的分布式开发；
4. 熟悉常见爬虫框架，有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制/访问频繁限制等问题；
5、熟悉基于MySQL和redis，有一定的SQL性能调优经验
6、熟练掌握数据结构、算法与多线程，并熟练使用设计模式重构代码结构；
7、责任心强，具有良好的表达、沟通技巧，具备良好的团队合作精神。
公司介绍
人科数据科技（以下简称人科）成立于2013年，是一家以云计算技术为基础、致力于协助企业建立电子数据保全体系的科技公司。人科以云计算技术为基础、自主开发和运营实时保公众数据云服务平台，并与全国各地公证处建立合作伙伴关系，提供相关咨询和培训服务，以协助企业进行日常证据保全，从而建立全面电子数据保全体系。旗下拥有多个全资子品牌和子公司，分别为知识产权和品牌保护、涉外法律服务、企业通讯基础证据服务、政府行政执法等垂直法律服务场景提供解决方案。************************/ 实时保证据保全/数字内容版权保护平台：***********
联系方式
- 公司地址：地址：span杭州东方公证处