爬虫开发工程师
中拍平台网络科技股份有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:信托/担保/拍卖/典当
职位信息
- 发布日期:2021-06-04
- 工作地点:北京-朝阳区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.2-1.8万/月
- 职位类别:爬虫开发工程师
职位描述
岗位职责:
1.负责构建并完善大规模抓取系统的架构设计、核心模块开发,包括爬虫、调度、信息提取、信息存储等;
2.负责目标网站、app等信息采集,维护抓取程序的监控和报警,并且快速修复问题,持续优化和改进;
3.配合团队完成信息渠道拓展,设计比较灵活的爬取架构,满足业务的爬取需求。
任职要求:
1.本科及以上学历,3年以上相关工作经验;
2.精通至少一种开发语言,如Python、Java,熟练掌握至少一种开源爬虫框架,熟练掌握mongo、redis、mq、hadoop等相关技术;
3.掌握PC网页抓取原理及技术,包括基于Cookie的登录管理,基于headless的采集,熟悉正则表达式、XPath、Jsoup等网页信息抽取技术。
4.对APP采集有丰富经验,包括抓包工具,中间人代理二次开发以及APP模拟器等优先考虑。
5.熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用,熟练Js/app逆向,celery做异步任务,动静态页面分析。
6.有爬虫、模拟器、反爬虫、Selenium、信息抽取、文本分类、数据处理、机器学习等相关经验者优先。
公司介绍
中拍平台网络科技股份有限公司是由中国拍卖行业协会发起,并由中国拍卖行业内部分骨干企业与金融行业、大数据行业等著名企业共同创建的互联网高新技术技企业,公司定位是面向全球提供专业化的“线上线下”同步拍卖网络平台。
公司运营的专业化网络拍卖平台系统于2011年投入使用,年成交额逾百亿元。平台囊括了公共资源、金融资产、艺术品、土地、二手机动车、农副产品、股权债权、二手物资等众多拍品。中拍平台不仅提供网络拍卖服务,还集合分布在全国各地的拍卖企业提供专业的“拍前”、“拍后”线下服务,让我们的用户得到全流程精准服务。
2016年中拍平台更被最高人民法院指定为“专业网络司法拍卖平台”,助力中国司法改革。
随着拍卖行业市场化发展思路的进一步拓宽和拍卖行业市场业态变革的不断深入,中拍平台以其专业的优势必将在商品流通领域发挥更加重要和积极的作用。
中拍平台内联院所、外联国际;积极推动拍卖+互联网,放眼全球拍卖市场,必将拥有广阔的发展空间。
公司运营的专业化网络拍卖平台系统于2011年投入使用,年成交额逾百亿元。平台囊括了公共资源、金融资产、艺术品、土地、二手机动车、农副产品、股权债权、二手物资等众多拍品。中拍平台不仅提供网络拍卖服务,还集合分布在全国各地的拍卖企业提供专业的“拍前”、“拍后”线下服务,让我们的用户得到全流程精准服务。
2016年中拍平台更被最高人民法院指定为“专业网络司法拍卖平台”,助力中国司法改革。
随着拍卖行业市场化发展思路的进一步拓宽和拍卖行业市场业态变革的不断深入,中拍平台以其专业的优势必将在商品流通领域发挥更加重要和积极的作用。
中拍平台内联院所、外联国际;积极推动拍卖+互联网,放眼全球拍卖市场,必将拥有广阔的发展空间。
联系方式
- 公司地址:地址:span北辰东路北辰时代大厦1201