中高级爬虫工程师 (职位编号:12)
广东广业开元科技有限公司
- 公司规模:10000人以上
- 公司性质:国企
- 公司行业:计算机服务(系统、数据服务、维修)
职位信息
- 发布日期:2019-06-06
- 工作地点:广州
- 招聘人数:2人
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:0.8-1.2万/月
- 职位类别:软件工程师 高级软件工程师
职位描述
【广业集团】(全称“广东省广业集团有限公司”)是省政府、省国有资产管理机构授权经营的国有资产,广东绿色发展最具影响力企业 。(百亿级资产,中国500强,下设15家产业集团,两万人以上规模,旗下多家上市公司)
【广业开元科技】是广业集团旗下,一家以大数据技术创新驱动的高科技公司,提供数据采集、数据治理、数据挖掘、数据可视化、数据安全与运维等一系列大数据技术服务。
岗位职责:
1、负责互联网站、网页、链接的特征挖掘;
2、提供分布式爬虫和数据采集系统的技术实现方案;
3、设计和开发分布式网络爬虫程序;
4、分析静态网页结构,解析网页数据,对数据进行过滤,去重,结构化处理;
5、设计优化爬虫调度系统,优化调度策略。
任职条件:
1、全日制本科以上,计算机/软件工程相关专业,两年以上爬虫经验;
2、扎实的Java/Python基础,熟悉多线程编程环境,熟悉常见开源框架;
3、熟悉前端技术,HTML,JavaScript,Ajax等;
4、熟练使用正则表达式,精通网页数据提取;
5、熟悉抓取原理及技术,熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用;
6、具有构建分布式爬虫系统的经验,具有海量高并发网页爬取项目经验;
7、熟悉数据库操作、SQL语言与优化,了解ETL过程以及操作工具;
8、熟悉大数据数据库者优先;
9、喜欢技术钻研,具有较强的学习能力,有独立解决问题的能力;
10、富有责任心,有担当。
公司为您提供的:
1、对你的自由和梦想的尊重、对你个人成长的支持
2、合理合法的薪酬体系,超越合理性的额外福利
3、周末双休、弹性工作时间
4、六险一金(五险+重疾险+公积金)
5、生日礼金、节日礼品
6、每月交通补贴、餐费补助、团建费
7、旅游或团队拓展活动,只为你玩得更好
8、每年体检,关注你的健康
9、带薪假期:提供法定假日及带薪病假、年假及每满1年增加1天的司龄假、婚假等,女职工每月享有带薪例假假期。
工作地点:
广州市越秀区天河路45号之6粤能大厦20楼
双地铁:3号线体育西路E出口9出站口、5号线动物园站C出口
公司介绍
【广业开元科技】是一家以大数据技术创新驱动的高科技公司,提供数据采集、数据治理、数据挖掘、数据可视化、数据安全与运维等一系列大数据技术服务。
公司拥有海量、优质的数据资源,覆盖企业经营、境内外金融、行业经济等多个领域,能提供高质量的数据源及模块化的数据订阅服务,并可根据客户的需求定制数据库,可充分满足客户在资本运作、
金融交易等不同范畴的数据需求。针对拥有优质数据资源的政企客户,我们提供数据资产运营等专业服务,为客户发掘利润增长点,助推政府大数据、商业大数据资产价值实现。
公司以数据无界、人物互知为愿景,携手国内外顶尖应用开发商、系统集成商、投资者,共同打造共赢、开放的大数据生态圈。
公司为您提供的:
1、对你的自由和梦想的尊重、对你个人成长的支持
2、合理合法的薪酬体系,超越合理性的额外福利
3、周末双休、弹性工作时间
4、六险一金(五险+重疾险+公积金)
5、生日礼金、节日礼品
6、每月交通补贴、餐费补助、团建费
7、旅游或团队拓展活动,只为你玩得更好
8、每年体检,关注你的健康
9、带薪假期:提供法定假日及带薪病假、年假及每满1年增加1天的司龄假,女职工每月享有带薪例假假期。
联系方式
- 公司地址:地址:span越秀区天河路45号之6粤能大厦20楼