python爬虫开发工程师
安华理达企业管理咨询(广州)有限公司
- 公司规模:150-500人
- 公司性质:外资(非欧美)
- 公司行业:专业服务(咨询、人力资源、财会)
职位信息
- 发布日期:2017-11-21
- 工作地点:广州-越秀区
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1-1.5万/月
- 职位类别:软件工程师 高级软件工程师
职位描述
职位描述:
工作内容:
1、设计和开发分布式爬虫和调度系统,负责爬虫核心算法和调度策略优化;
2、负责网络信息搜集方向的研究与开发,应用海量网页抓取、信息精准抽取等搜索核心技术,构建高可用性、高可扩展性的网络信息搜集平台;
3、熟悉爬虫的应用策略和网站的防爬机制,解决各类验证码识别机制,提升网页抓取的效率和质量;
4、负责多个业务网站数据爬取、解析、过滤,清洗、消重、结构化处理等工作,提升平台的抓取效率。
任职要求:
1.大学本科及以上学历,计算机相关专业,基础扎实;
2. Python工作经验3年以上,熟悉Python常用函数库,熟练掌握Xpath和正则表达式;
3.精通常用Python爬虫框架中的一种或多种,熟悉Scrapy、Pyspider框架中的至少一种;
4.熟练掌握MySql、Mongodb等SQL、NoSQL数据库,有丰富的mysql性能优化经验;
5.熟练掌握网页抓取原理及解析技术,对SQL优化有一定的经验熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
7.具有优秀的团队合作和沟通协作能力;
8.具备良好的编码习惯及开发文档书写习惯。
加分项:
1.个人网站;
2.相关个人作品;
3.Github个人主页。
工作内容:
1、设计和开发分布式爬虫和调度系统,负责爬虫核心算法和调度策略优化;
2、负责网络信息搜集方向的研究与开发,应用海量网页抓取、信息精准抽取等搜索核心技术,构建高可用性、高可扩展性的网络信息搜集平台;
3、熟悉爬虫的应用策略和网站的防爬机制,解决各类验证码识别机制,提升网页抓取的效率和质量;
4、负责多个业务网站数据爬取、解析、过滤,清洗、消重、结构化处理等工作,提升平台的抓取效率。
任职要求:
1.大学本科及以上学历,计算机相关专业,基础扎实;
2. Python工作经验3年以上,熟悉Python常用函数库,熟练掌握Xpath和正则表达式;
3.精通常用Python爬虫框架中的一种或多种,熟悉Scrapy、Pyspider框架中的至少一种;
4.熟练掌握MySql、Mongodb等SQL、NoSQL数据库,有丰富的mysql性能优化经验;
5.熟练掌握网页抓取原理及解析技术,对SQL优化有一定的经验熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
7.具有优秀的团队合作和沟通协作能力;
8.具备良好的编码习惯及开发文档书写习惯。
加分项:
1.个人网站;
2.相关个人作品;
3.Github个人主页。
职能类别: 软件工程师 高级软件工程师
公司介绍
关于安华理达:
安华理达企业管理咨询(广州)有限公司在中国和中国香港,是少数几家采用一站式法律和信用管理经营方法的公司之一,致力于解决客户在应收账款、信用评估、尽职调查和不良资产上的各种问题。目前总部设在中国香港,广州、上海、北京、成都、杭州和厦门均设有分支机构,并在全球范围内120多个国家和地区建立了完善的合作网络。客户包括外资银行、国内金融机构、海外投资者、大型跨国企业和世界各地的律师事务所等。除此之外还为制造、贸易、广告、传媒、运输、快递、餐饮、造纸等行业的客户提供信用调查。
公司始终坚持以人为本的企业核心价值观,努力创造和谐的工作环境和氛围,为员工的职业发展创造平台,让每一名员工在安华理达事业发展的大舞台上充分施展才干,展现自我价值,与公司共同成长。
各地办公地址:
香港:香港九龙观塘成业街6号泓富广场23楼2303-05室
广州:广州市中山四路246号信德商务大厦25楼
上海:上海市徐汇区田林东路55号汇阳广场高层801室
北京:北京市东城区建国门南大街7号万豪中心写字楼C座506室
成都:成都市锦江区顺城大街8号中环广场2座23楼01-02A室
杭州:杭州市江干区市民街66号钱塘航空大厦1栋2005室
厦门:厦门市思明区高雄路18号通达国际中心302单元
南京:南京市雨花台区六朝路9号喜马拉雅商业中心J幢1005室
青岛:青岛市市北区敦化路328号诺德广场B座1422-1423户
新加坡:新加坡12码头湾亚洲广场第二大厦23楼01室
安华理达企业管理咨询(广州)有限公司在中国和中国香港,是少数几家采用一站式法律和信用管理经营方法的公司之一,致力于解决客户在应收账款、信用评估、尽职调查和不良资产上的各种问题。目前总部设在中国香港,广州、上海、北京、成都、杭州和厦门均设有分支机构,并在全球范围内120多个国家和地区建立了完善的合作网络。客户包括外资银行、国内金融机构、海外投资者、大型跨国企业和世界各地的律师事务所等。除此之外还为制造、贸易、广告、传媒、运输、快递、餐饮、造纸等行业的客户提供信用调查。
公司始终坚持以人为本的企业核心价值观,努力创造和谐的工作环境和氛围,为员工的职业发展创造平台,让每一名员工在安华理达事业发展的大舞台上充分施展才干,展现自我价值,与公司共同成长。
各地办公地址:
香港:香港九龙观塘成业街6号泓富广场23楼2303-05室
广州:广州市中山四路246号信德商务大厦25楼
上海:上海市徐汇区田林东路55号汇阳广场高层801室
北京:北京市东城区建国门南大街7号万豪中心写字楼C座506室
成都:成都市锦江区顺城大街8号中环广场2座23楼01-02A室
杭州:杭州市江干区市民街66号钱塘航空大厦1栋2005室
厦门:厦门市思明区高雄路18号通达国际中心302单元
南京:南京市雨花台区六朝路9号喜马拉雅商业中心J幢1005室
青岛:青岛市市北区敦化路328号诺德广场B座1422-1423户
新加坡:新加坡12码头湾亚洲广场第二大厦23楼01室
联系方式
- Email:huangxianzhe@alphaleader.com
- 公司地址:中山四路246号信德商务大厦25楼 (邮编:510030)