上海招聘

爬虫工程师主要工作包括：

1、负责完善现有爬虫系统，通过对抓取、解析、调度、存储等模块的拆分与优化，构建和完善统一的抓取服务平台。

2、负责多平台信息爬取，负责破解各类反爬机制，包括网页，微信、APP 的数据抓取和爬取链路优化（包括 APP 反编译、逆向分析、脱壳、加密参数破解、抓取攻防等），提升抓取能力；

3、负责 HTTP、AJAX 等各类网络请求分析，探索和研究高效的数据抓取解决方案；

4、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、人机交互验证，页面跳转等难点，提升网页抓取的效率和质量；

5、负责现有爬虫系统的日常运维，监控和性能调优，确保系统稳定运行，向业务方输出高质量数据

职位技能

1.计算机相关专业，本科及以上学历，3年以上爬虫相关工作经验；

2.对爬虫编程有强烈爱好，熟练精通掌握至少1种语言java、python，在需要的情况下能快速上手新语言切换；

3.精通爬虫和反爬技术，精通 HttpClient/jsoup/XPath/CSS/ 正则表达式 / 验证码加密处理 / 代理池等网页信息抽取技术

4.精通tpc/ip、http、以及web登录认证的机制，有成功破解手机验证码，人机交互验证的实战经验；

5.熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等技术，具有海量数据处理和分布式计算开发经验者优先；

6.有过大型平台数据爬取经验, 例如淘宝、京东、美团、饿了么等；

7.具有较强的分析和解决问题的能力，以及良好的沟通、团队协作和计划能力

   知而行是一家基于大数据和全渠道的精准营销服务提供商，在国内率先引进国际先进营销理念，并最早开始使用大数据为品牌商、零售商提供营销服务，开创多项基于大数据的数据标准、分析模式及营销方法。
   知而行创造性的提出O2O数据融合理念，建立起包括卖场、纸媒、PC、手机短信、移动App等在内的大数据全渠道精准行销平台——以大卖场、便利店和领导电商为依托，以线上、线下大数据为基础，以互联网、移动互联及LBS为支持，整合提供跨渠道购物行为分析、战略评估、市场研究、品牌传播、业务推广等服务。
   截至2015年6月，知而行已与近60个领导性零售商的约1万间超市、大卖场和便利店门店合作，线下网络覆盖中国26个省份约200个地级市，日接触超过900万购物者，可抵达7000万购物者家庭。知而行亦在各主要城市设立办事机构，配备一支专业的包含营销咨询、IT技术和运营维护等相关职能的服务团队。
   知而行得到各大品牌商的广泛认同。全球***的快消品广告主，如宝洁，可乐，百事，联合利华，达能，统一，康师傅等，都选择与知而行长期合作。知而行精准行销平台每年服务超过150个品牌、执行超过300个促销项目，精准发放优惠券超过4.5亿张

   为适应公司迅速发展的需要，诚邀有志之士加盟．本公司提供完善的培训、富有竞争力的薪资和发展空间。有意者请将简历发至公司人事部邮箱。 hr@sweetmartmarketing.com.
   
福利：
1、每周五天工作日，每天标准8小时；
2、按国家要求缴纳社会保险；
3、按标准计算加班费；
4、享受国家法定节假日；
5、良好的晋升制度及空间；
6、薪资福利优于同行业水平。