大数据系统开发工程师 (MJ000970)
上海依图网络科技有限公司
- 公司规模:500-1000人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-02-20
- 工作地点:上海-长宁区
- 招聘人数:若干人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.5-3万/月
- 职位类别:系统工程师 软件工程师
职位描述
工作职责
- 负责公司内互联网网页、图片、音视频等数据爬虫的架构设计、开发、实现
- 与Research部门对接,一起完成互联网数据爬取任务
- 使用大数据工具处理爬取数据
岗位要求
- 对技术有热爱和好奇心,热爱挑战
- 熟悉至少一种爬虫框架(scrapy、pyspider),了解其实现原理。
- 熟练使用python、java、scala等编程语言
- 熟悉HTTP协议和网页前后端技术,了解如何解析网页爬取信息
- 熟悉分布式爬虫设计原理,使用过常见的分布式间件(比如RabbitMQ, Redis, zookeeper, kafka等)及数据库(mysql, mongodb)
- 了解常见的反爬虫机制和应对手段
- 3年以上工作经验
- 良好的沟通能力
- 有领导团队经验者优先
公司介绍
依图从事人工智能创新性研究,致力于将先进的人工智能技术与行业应用相结合,建设更加安全、健康、便利的世界。
依图带着国际视野组建世界一流的研发团队,用坚实的技术力量推动产业发展。
我们不是为了把大公司或实验室的技术拿来快速套利,我们参与人工智能领域的基础性科学研究,致力于全面解决机器看、听、理解的根本问题,相信能在计算机视觉、自然语言理解、知识推理、智能硬件、机器人等技术领域作出突破性贡献。
依图的技术已经服务于安防、金融、交通、医疗等多个行业。
我们好奇智慧的奥秘,拓展智能的边界。
期待与你一起构建智能的未来。
依图带着国际视野组建世界一流的研发团队,用坚实的技术力量推动产业发展。
我们不是为了把大公司或实验室的技术拿来快速套利,我们参与人工智能领域的基础性科学研究,致力于全面解决机器看、听、理解的根本问题,相信能在计算机视觉、自然语言理解、知识推理、智能硬件、机器人等技术领域作出突破性贡献。
依图的技术已经服务于安防、金融、交通、医疗等多个行业。
我们好奇智慧的奥秘,拓展智能的边界。
期待与你一起构建智能的未来。
联系方式
- 公司地址:地址:span娄山关路523号金虹桥国际中心I座23F