大数据开发工程师
易之家网络科技(大连)有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2020-11-19
- 工作地点:大连-高新园区
- 招聘人数:1人
- 工作经验:5-7年经验
- 学历要求:大专
- 职位月薪:1-1.5万/月
- 职位类别:大数据开发工程师
职位描述
关键词:Python,爬虫,数据采集,数据抓取
1、负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型
2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量
3、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求
4、把握网络爬虫核心技术研究方向,研究优化算法,提升爬虫系统的稳定性、可扩展性
职位要求:
1、精通Python,熟悉scrapy框架,分布式系统
2、熟悉http协议,kafka,linux基本命令,国际贸易基础知识
3、熟悉javascript,js逆向,熟悉css、xpath、正则提取;mysql批量操作,sql优化,redis,mongodb
4、精通爬虫和反爬技术,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术
5、有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于团队、跨团队合作
公司介绍
【公司介绍】
易之家成立于2010年,是一家专注于贸易大数据场景化智能应用的创新型科技公司。我们拥有强大的自主创新研发能力并依托于行业领先的科研院所,在AI人工智能算法、大数据深度挖掘、知识图谱构建、深度时空学习网络、图神经网络、时序数据分析等领域深耕数十年。
易之家基于国际贸易营销模式、数字化应用等需求,为全球贸易客户全力打造了“SNS精准营销平台”、“外贸大数据SAAS服务应用(GPM、GID)”、 “全球贸易链优化”等数智化解决方案。
迄今为止易之家已为全球上万家进出口企业提供了高质量的产品和服务。赋能全球贸易企业数字化变革,提升企业核心竞争力;实现数据驱动决策,精准洞察商机。用技术驱动全球贸易更高效!
【企业价值观】
诚信 专注 共赢 美好 责任 协作 执行 高效
【企业使命】
大数据驱动全球跨境贸易更高效
【企业愿景】
全球跨境贸易SNS精准营销领军者。
【薪酬晋升】
底薪+绩效工资+高额提成+年终奖金
季度调薪调岗
晋升制度明确
【福利】
1. 周末双休
2. 早九晚六
3. 无加班
4. 法定节假日
5. 五险一金
6. 带薪旅游
7. 不定期团建
8. 办公沙龙活动
9. 节假日福利
10. 防暑降温福利
11.海景办公环境(宁波万达商圈)
12.良好办公氛围
13.人性化管理
易之家成立于2010年,是一家专注于贸易大数据场景化智能应用的创新型科技公司。我们拥有强大的自主创新研发能力并依托于行业领先的科研院所,在AI人工智能算法、大数据深度挖掘、知识图谱构建、深度时空学习网络、图神经网络、时序数据分析等领域深耕数十年。
易之家基于国际贸易营销模式、数字化应用等需求,为全球贸易客户全力打造了“SNS精准营销平台”、“外贸大数据SAAS服务应用(GPM、GID)”、 “全球贸易链优化”等数智化解决方案。
迄今为止易之家已为全球上万家进出口企业提供了高质量的产品和服务。赋能全球贸易企业数字化变革,提升企业核心竞争力;实现数据驱动决策,精准洞察商机。用技术驱动全球贸易更高效!
【企业价值观】
诚信 专注 共赢 美好 责任 协作 执行 高效
【企业使命】
大数据驱动全球跨境贸易更高效
【企业愿景】
全球跨境贸易SNS精准营销领军者。
【薪酬晋升】
底薪+绩效工资+高额提成+年终奖金
季度调薪调岗
晋升制度明确
【福利】
1. 周末双休
2. 早九晚六
3. 无加班
4. 法定节假日
5. 五险一金
6. 带薪旅游
7. 不定期团建
8. 办公沙龙活动
9. 节假日福利
10. 防暑降温福利
11.海景办公环境(宁波万达商圈)
12.良好办公氛围
13.人性化管理
联系方式
- 公司地址:地址:span大连市高新园区三丰大厦B座16层