高级Python工程师
广东中思拓大数据研究院有限公司
- 公司规模:少于50人
- 公司性质:创业公司
- 公司行业:计算机软件
职位信息
- 发布日期:2020-10-26
- 工作地点:广州-天河区
- 招聘人数:1人
- 工作经验:5-7年经验
- 学历要求:本科
- 职位月薪:2.5-3万/月
- 职位类别:Python开发工程师 爬虫开发工程师
职位描述
任职要求:
1、全日制本科及以上学历,计算机相关专业;
2、4年及以上自动采集相关工作经验,具备丰富的海量数据自动采集工作经验;
3、具有代码逆向(如app逆向、js逆向等),通过模型(重点是机器学习算法)破解验证码经验者优先考虑;
4、良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验;
5、精通自动采集和反自动采集技术,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等,从结构化的和非结构化的数据中获取信息;
6、精通分布式系统、多线程、云服务,精通一种以上开源框架,熟悉scrapy、 requests、pyspider等其中一个或多个自动采集框架以及原理,有开发自动采集框架经验;
7、对主流自动采集架构有深入研究,具有成熟的自动采集工具开发经验、及Linux 、Windows云服务器的运维经验;
8、有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力、团队合作精神。
岗位职责:
1、技术团队的日常管理,与团队交流、分享技术经验;
2、负责分布自动采集和数据采集系统的架构设计和开发;
3、熟悉各类反反自动采集策略,负责反反自动采集技术难点攻坚,并有丰富的反反自动采集实战经验;
4、深刻理解自动采集系统架构,能对系统架构提出自己的见解和优化方案,提升数据抓取的效率,保证数据的质量和及时更新;
5、实现数据提取、清洗、结构化、入库、统计分析等需求;
6、建立自动采集监测体系,及时分析及解决自动采集脚本在运行过程中出现的问题;
7、负责带领团队,把握网络自动采集核心技术研究方向,研究优化算法,提升自动采集系统的效率及稳定性、可扩展性;
8、忠诚于公司的事业。
公司介绍
为响应中央号召, “实施国家大数据战略”,“更好服务我国经济社会发展”,推动优化经济治理基础数据库,促进实现决策的科学化、治理的精准化、服务的高效化,2020年1月,在国家信息中心有关领导和众多银企领导的参与和见证下,承载了19年银企资信建设基因、始于2013年以来的数据沉淀和技术积累——中思拓研究院正式挂牌成立,数据平台上线试运行,助力银企运用大数据赋能。
中思拓研究院结合大数据、人工智能、云计算、区块链等技术的发展、研究及应用,致力于为金融机构、相关部门、企业及科研院所等提供大数据信息一体化服务解决方案,是一家应用性、学术性研究机构。
中思拓数据平台【数据洞察】涵盖宏观经济、土地市场、金融市场、城市系统、企业监测、舆情监测等六大数据板块。大数据赋能方面,研发了【智能评估/押品管理】,提升普惠竞争力和防范金融风险;【一键看项目】为企业的战略发展、经营决策等提供科学的数据信息支持;此外,还可以为用户提供定制化数据服务。
中思拓研究院汇集各方智慧,智库成员既有高屋建瓴的权威学者,也有长期深耕一线的金融机构住房金融专家,又有住房领域专业人士,还有相关专业人士等。
中思拓研究院将建成以“数据+科技”为核心竞争力的专业研究机构,通过权威、科学、准确、实时的房地产和金融大数据产品、高效的处理技术、领先的机器算法,全方位挖掘数据价值,为金融机构、企业等各方用户提供丰富多样的大数据产品和研究成果。
中思拓研究院结合大数据、人工智能、云计算、区块链等技术的发展、研究及应用,致力于为金融机构、相关部门、企业及科研院所等提供大数据信息一体化服务解决方案,是一家应用性、学术性研究机构。
中思拓数据平台【数据洞察】涵盖宏观经济、土地市场、金融市场、城市系统、企业监测、舆情监测等六大数据板块。大数据赋能方面,研发了【智能评估/押品管理】,提升普惠竞争力和防范金融风险;【一键看项目】为企业的战略发展、经营决策等提供科学的数据信息支持;此外,还可以为用户提供定制化数据服务。
中思拓研究院汇集各方智慧,智库成员既有高屋建瓴的权威学者,也有长期深耕一线的金融机构住房金融专家,又有住房领域专业人士,还有相关专业人士等。
中思拓研究院将建成以“数据+科技”为核心竞争力的专业研究机构,通过权威、科学、准确、实时的房地产和金融大数据产品、高效的处理技术、领先的机器算法,全方位挖掘数据价值,为金融机构、企业等各方用户提供丰富多样的大数据产品和研究成果。
联系方式
- 公司地址:广州天河区天河区珠江新城临江大道57号中和广场八楼