上海招聘

职位描述：
1、对指定的多个网站进行网页抓取、数据提取；负责网络数据抓取规划、清洗以及汇总的开发工作；
2、负责特殊网页采集任务的分析及采集方案设计；
3、参与爬虫架构设计和研发，满足产品中数据抓取的要求；
4、参与爬虫核心算法和策略优化研究；
5、抓取调度和策略优化，实时监控爬虫的进度和警报反馈；
6、爬虫核心系统, 数据平台的研发维护。

岗位要求：
1、 本科及以上学历，计算机相关专业；3年以上开发经验，2年以上Hadoop相关工作经验；
2、具有数据挖掘、信息检索、机器学习开发经验；
3、精通HTML语言，熟悉JS，Ajax，熟悉Lucene、Nutch、Heritrix、larbin、HtmlParse、Scrapy、Crawler4j、WebMagic、WebCollector等开源工具；
4、精通网页抓取原理及技术，从结构化的和非结构化的数据中获取信息；
5、熟练使用一门以上脚本语言(PHP/PYTHON/JAVA/Node.js/SQL/R语言 等)；
6、熟练Hadoop大数据平台的核心框架 (HDFS, Pig, Hive, Sqoop, oozie, Zookeeper, Spark, Storm, Kafka 等)；
7、精通网络编程，熟悉HTTP传输协议，能模拟浏览器操作爬虫；
8、有丰富Java /Python开发经验者优先；熟悉MySQL、Oracle及有集群数据库开发经验者优先。
9、具备web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抽取的经验。以解决技术难题为乐，对程序完美有偏执追求；具有团队精神，有想法，敢于挑战自我。
职能类别：高级软件工程师互联网软件开发工程师关键字：网络数据爬虫数据抓取分析

上海天航旅游咨询有限公司(下称天航商旅网)是国内领先的、通过互联网、电话呼叫中心以及无线技术开展航空旅游产品分销的网络服务商，天航商旅网于 2006年投资创建，致力成为中国***的专业商旅网络服务商。通过与民航订座 GDS 系统连接 ，提供权威的机票实时预订服务。同时，通过与国内外主要航空公司的密切业务合作，可提供各航空公司最及时、最全面、最准确的航线、舱位、机票价格信息，并与国航、东航、南航、海航等国内主要航空公司的常旅客俱乐部实现全面接轨。作为国内***的机票产品网络分销服务商，提供国内惟一的自助式机票销售平台，机票产品涵括国内外400家航空公司的100000 多 条航线。
天航商旅网是国内一家可提供国内国际主要航空公司的全部电子机票产品，并具有国内最丰富的在线机票销售增值服务。在国内最先推出了“ 机票实时定 ”服务，在不到的六年的时间内，已帮助近3600 万旅客顺利成行。力争为每一位顾客提供全方位的、周到的、以航空旅行为主的管家式旅行服务。同时凭借以公司客户需求为设计思路的公司商旅管理系统，先后为包括联想、华为、比亚迪、中兴等百余家国内知名企业签约。经过6 年的风雨历练，公司已发展成为国内***的从事机票销售的专业公司之一。代理着国内外100 余家航空公司的客运业务,已经在国内、国际间建立起广泛的业务联系，形成了国际性的航空服务网。公司现为国际航空运输协会(IATA)成员，同时是航空运输销售代理人协会常务理事单位。由电子商务和航空旅游产品分销领域具有丰富经营管理经验的管理团队运营。凭借投资人拥有的行业优势资源，中国民航特价机票网通过与合作伙伴的精诚合作以及全体员工的专业服务，一定会将公司打造成为全方位的行业领导者。