上海 [切换城市] 上海招聘上海计算机软件招聘上海软件工程师招聘

爬虫工程师 (职位编号:5)

上海嘉道信息技术有限公司

  • 公司规模:50-150人
  • 公司性质:民营公司
  • 公司行业:计算机软件

职位信息

  • 发布日期:2020-10-21
  • 工作地点:上海-长宁区
  • 招聘人数:2人
  • 工作经验:2年经验
  • 学历要求:本科
  • 职位月薪:1-2万/月
  • 职位类别:软件工程师

职位描述

岗位描述:


 1. 负责PC及移动客户端数据采集、识别与正确解析。


 2. 负责PC及移动端爬虫架构设计(包括基础资源,如移动设备群集技术、代理池技术、反反爬技术、移动设备群控技术等等)与核心技术研发。


 3. 负责PC及移动端数据的特征挖掘,主要对移动设备数据请求协议、移动端交互数据、资源变化趋势等进行数据抓取、分析和特征建模。


 4. 设计策略和算法,提升数据抓取的效率和质量,进一步解决系统的网页排重、垃圾控制、资源划分等问题 。


 5. 分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。            





岗位要求:


 知识要求  


 1. 计算机、信息技术或相关专业本科或以上学历。


 2. 有两年以上软件设计与开发经验。


 基本技能 要求


 1.  精通Java语言编程,熟练Python,熟悉linux平台开发与部署。


 2. 熟悉HTTP、XML、JSON、SOAP、tcp/ip、网络代理等网络协议。


 3. 熟悉APK反编译、IDA、Android Studio等常用客户端逆向分析工具,熟悉客户端动态调试技术。


 4. 熟悉常见反爬机制及对应的应对措施,如ua、cookie识别。


 5. 精通队列通信、分布式、多线程开发技术。


 6. 有较强的数据分析与建模能力。


 7. 有开源网页爬虫开发经验者优先。 


 


 个人素质 要求


 1. 具有很强的分析和解决问题的能力。


 2. 具有攻克难题的强烈兴趣,以及提升技术能力的意愿。


 3. 善于主动学习,责任心强,能够承受较高的工作压力。

职能类别:软件工程师

关键字:爬虫

公司介绍

上海嘉道信息技术有限公司(TIMERDATA),“大数据智能应用”专家

   是时代嘉道旗下中国互联网行业“大数据智能应用”的领先企业,专业从事互联网文本大数据采集、大数据智能处理技术以及相关产品的开发。曾被国际权威机构Gartner评为“中国社会化数据分析领先企业”,并于2019年入选上海市大数据服务供应商推荐目录,以及“上海软件核心竞争力企业”。

  “嘉道信息技术”致力于大数据领域的技术研究及应用系统研发,钻精于如数据采集存储、挖掘算法、可视化呈现等相关技术在产业界的实践应用;在分布式计算、分布式存储、机器学习、中文自然语言处理(NLP)、文本挖掘、知识图谱、信息可视化展现等方面积累了深厚的技术底蕴,至今已获专利、软著等五十多项知识产权,且已大量应用于各类智能应用系统的研发实践中。

  “嘉道信息技术”的研发团队核心骨干主要来自上海交大、复旦、武大等高校,在上海“智慧城市”2019年度技术竞赛中四名技术骨干入围二十名选手的决赛,并在总共十名决赛获胜者中,荣获两名优胜奖项、其中一名“智慧工匠”称号。

  “嘉道信息技术”服务的行业包括:汽车(如,大众汽车集团)、金融(如,中国证监会)、电子(如,索尼中国)、快消品(如,百威啤酒)、奢侈品(如,天梭)等不同行业。并获得客户一致的好评,在行业内有着上佳的口碑。

  “嘉道信息技术”的使命是帮助客户发掘高价值信息。
 
主要产品:数字(内容)营销系列、舆情监测系列;大数据平台系统系列(垂直搜索引擎、推荐引擎、内容管理系统、等等)
技术与服务提供:技术及产品咨询、产品/系统定制开发、基础技术与标准产品/系统
 

联系方式

  • 公司地址:地址:span天山路600弄思创大厦4号楼29层