高级爬虫工程师
深圳市蓝色互动电子商务有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2015-04-23
- 工作地点:深圳
- 招聘人数:2
- 工作经验:1年
- 学历要求:本科
- 职位月薪:15000-19999
- 职位类别:高级软件工程师
职位描述
岗位职责:
1、负责电子商务网络,SNS等爬虫的开发和完善;
2、网络爬虫架构设计、功能开发及优化;
3、网页信息抽取等核心算法的研究和优化;
4、针对业务需求,分析网站采集接口;
5、熟练掌握redis,hbase,kafka,storm,solr/lucene 等产品;
6、熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息、搜索/推荐等机制。
任职资格:
1、本科及以上学历,计算机相关专业;
2、精通Python/c++/Java/PHP语言,熟悉Lucene/Nutch/Heritrix/larbin/HtmlParser/Jsoup等一种以上的开源工具,熟练使用正则表达式;
3、具备3-5年及以上资深爬虫开发项目经验;
4、具备信息检索、自然语言处理、web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抽取、任一种资深程序开发经验;
5、精通抓包工具至少一种;
6、以解决技术难题为乐,对程序完美有偏执追求;具有团队精神、认同公司理念,有想法,敢于挑战自我。
1、负责电子商务网络,SNS等爬虫的开发和完善;
2、网络爬虫架构设计、功能开发及优化;
3、网页信息抽取等核心算法的研究和优化;
4、针对业务需求,分析网站采集接口;
5、熟练掌握redis,hbase,kafka,storm,solr/lucene 等产品;
6、熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息、搜索/推荐等机制。
任职资格:
1、本科及以上学历,计算机相关专业;
2、精通Python/c++/Java/PHP语言,熟悉Lucene/Nutch/Heritrix/larbin/HtmlParser/Jsoup等一种以上的开源工具,熟练使用正则表达式;
3、具备3-5年及以上资深爬虫开发项目经验;
4、具备信息检索、自然语言处理、web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抽取、任一种资深程序开发经验;
5、精通抓包工具至少一种;
6、以解决技术难题为乐,对程序完美有偏执追求;具有团队精神、认同公司理念,有想法,敢于挑战自我。
公司介绍
蓝色互动致力于研发高性能的网站、移动网站,并提升用户体验。诚邀web前端工程师,待遇丰厚。