上海 [切换城市] 上海招聘上海计算机软件招聘上海ERP技术开发招聘

数据采集工程师-Python工程

上海宜企网络技术有限公司

  • 公司规模:50-150人
  • 公司性质:民营公司
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2024-06-29
  • 工作地点:上海·浦东新区
  • 工作经验:3年及以上
  • 学历要求:大专
  • 职位月薪:6千-1万
  • 职位类别:嵌入式软件开发(Linux/单片机/DLC/DSP…)  ERP技术开发  

职位描述

仪器网(yiqi_com)是仪器行业的垂直门户网站,定位中国专业的科学仪器专业网站
工作职责:
1. 负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作;
2. 数据采集工具软件平台的开发、测试工作;
3. 负责分析新的数据需求, 完成数据处理的设计(文档)和实现;
4. 负责数据的清洗、整理、整合及合并等工作;
5. 负责数据处理程序设计框架改善, 数据处理性能优化, 系统数据处理的能力提高;
6. 实时监控爬虫的进度和警报反馈。
任职要求:
1. 专科科以上学历,3年以上开发经验,其中1年以上爬虫开发经验;
2. 精通Python,熟悉python爬虫框架,熟悉Linux,;
3. 熟悉Javascript,html,css,熟悉AJAX;
4. 精通网页抓取原理和相关技术,了解常见的反扒机制;
5. 熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验;
6. 熟练使用MySQL数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验;
7. 学习能力强,工作负责认真,具有强烈的进取精神和乐观的工作态度。
仪器网坚持在仪器这个垂直行业深耕,响应国家的“互联网+行业” 的号召,用互联网思维来改变工业产业。
未来的互联网产业中,除了目前已经接近白热化的“消费互联网”外,还有一块十分诱人的“产业互联网”的存??。
欢迎您加入“工业互联网”的建设浪潮来;欢迎加入我们公司。

公司介绍

    仪器网(yiqi_com)定位专业的科学仪器门户网站,致力为仪器行业提供专业化的信息服务和网络应用技术的服务。为仪器行业的厂家,代理商,经销商搭建专业媒体广告服务平台,提供全面的商务解决方案; 为从事仪器行业的专业人员提供仪器的资讯以及交流与学习的平台;为高校和企业实验室管理者提供产品采购以及维修与保养的指南。
     未来,仪器网(yiqi_com)将继续主动拥抱“互联网+”的时代,贯彻国家“互联网+”行动计划,推动互联网与传统仪器制造结合,助力仪器产生升级,促进中国仪器制造业发展。
      仪器网(yiqi_com)相信能在“互联网+仪器行业”形成独特的魅力中发挥重要的驱动作用。

联系方式

  • 公司地址:上海市浦东新区浦东大道2440号502室(近龙居路路口);
  • 联系人:程先生