上海招聘

职位描述:
1、负责传统网页、微博及SNS等各种网站信息高效采集与正确解析
2、对用户数据进行整理分析，参与模型的构建；
3、总结分析不同网站，网页的结构特点及规律，负责爬虫架构设计和研发，参与爬虫核心算法和策略优化研究；
4、设计策略和算法，提升网页抓取的效率和质量，进一步解决系统的网页排重、垃圾控制、资源划分等问题；
5、分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进。

职位要求:
1、能熟练使用Shell、Perl或Python等脚本语言；
2、熟悉多线程、多进程、网络通信编程相关知识；
3、熟悉Linux开发环境，熟悉C/C++和Lython
4、理解http，熟悉html,DOM,xpath
5、熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程
6、具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抽取、网页分类的中任一种程序开发经验；
7、了解搜索和爬虫开源软件（lucene，solr，firtex，lemur，indri ，nutch， hadoop，larbin,QT webkit）的一种或多种,以及相关原理；
8、了解分布式计算和存储基本技术和开源软件 （Mysql, Queue Q4M,activeMQ,TTserver,redis,hadoop,Hbase,dbd）
的一种或多种,以及相关原理。


关于我们
我们想做什么
我们是WeX(微汇金融)的独立移动信用团队
我们希望打造一个小而美的移动信用联邦。与征信机构、互联网保险公司、消费金融公司、P2P共同打造一个开放的信用平台
我们的愿景是通过整合互联网金融数据、征信机构数据、社交数据等，通过机器学习来做互联网化风险定价
我们目标是为年轻的互联网用户提供更快更性感的移动金融服务
我们深信"信用即财富"。移动互联网及大数据的应用会对中国的消费金融服务带来前所未有的颠覆

为什么要加入我们
我们信仰互联网，喜欢创新, 喜欢快速的互联网文化
我们敬畏金融及风险，但是愿意支撑足够多的移动金融创新的梦想
我们专注极致且结果导向, 但我们同样尊重人的个性
我们期望我们能在这个时代留下属于我们的独特的印记
我们像做互联网一样做金融
我们期望大家在一起享受创业初期在悬崖边上跳舞的快感

上海微汇信息技术有限公司是一家新兴的第三方支付公司，致力于打造智慧经济时代的新金融运河，让用户在快乐中享受一体化金融服务。
微汇是一家专业支付服务公司，将拥有面向全国的统一支付平台，主要从事以互联网等新兴渠道为基础的网上支付、账户支付、快捷支付、电话支付、网上跨行转账、以及企业B2B账户支付等银行卡网上支付及增值业务。