深圳招聘

岗位职责：

 1.根据需求开发不同网站平台的采集程序,收集指定的信息 

2.参与分布式爬虫项目的架构设计、核心模块(如抓取调度，页面解析和结构化抽取，海量数据存储和读取等）研发工作，改进和提升爬虫效率；

 3.攻破各种反爬策略，快速解决各类技术疑难问题，建设反爬对抗组件库 

4.完善爬虫的技术指标体系，并基于指标迭代优化爬虫基础能力，指标体系中，全面性指标的建立，基于随机采样，估计网站总体目标信息

 

任职要求：

 1.计算机及相关专业大专及以上学历，三年以上爬虫工作经验；

 2.熟练使用python/Scala编程语言，有良好的编码习惯；

 3.熟练使用常用的爬虫框架的一种或多种,如scrapy，pyspider等；

 4.熟练Linux开发环境； 

5.熟悉网页抓取原理及技术，熟练常用数据解析库 xpath，bs4，能够解决常见的反爬手段；

6.熟悉MySql、Redis、MongoDB等数据库，对SQL优化有一定的经验；

7.逻辑思维优秀，有良好的沟通能力和语言表达能力，具有优秀的团队合作和沟通协作能力，善于学习，能承受较大的工作压力； 8.对网络通信、TCP协议有较为深入的理解

深圳市华杰电子商务有限公司，总人员近1000人，主要有服装独立站，亚马逊、wish、ebay、速卖通、shopee、lazada、全球市场，精品模式为主；
华杰电商是一家外贸电商行业的高新企业，同时在长春、郑州设有分公司，义乌、广州设有办事处；在欧洲设有物流中心，经营产品囊括消费类电子系列、户外运动类、服装饰品类、3C数码类、家居类、美妆个护等。业务发展涉及多个电子商务平台。除公司自有的外贸B2C服装独立网站外，还涉及Ebay、亚马逊、速卖通、Wish、shopee、lazada等多个第三方国际平台。
    秉承拼搏，务实，极致，共赢的企业文化，将业务扩展到200多个国家和地区；