北京招聘

岗位职责：

1. 负责爬虫平台的架构设计、数据库设计；
2. 设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
3. 负责爬虫核心算法的开发，对采集的信息进行数据清洗、入库及整理分析；
4. 负责持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，持续不断提升爬虫系统的性能、时效性、稳定性、易用性.

1. 全日制本科及以上学历，3年以上爬虫技术开发工作经验；
2. 精通Java编程语言，熟悉常用的爬虫框架；
3. 精通信息抓取和整合技术，从结构化和非结构化的数据中获取信息；
4. 精通反爬虫机制，处理账号限制、复杂验证码、模拟登陆等疑难问题；
5. 精通 HTML、XPath、正则表达式、AJAX等技术，熟悉HTTP、HTTPS等网络协议及数据抓包、分析；
6. 熟练使用Mysql,MongoDB,Redis数据库中至少一种。
7. 熟练应用分布式、多线程技术，有独立完成爬虫架构和部署经验；
8. 熟悉网络数据抓取的工作原理与工作流程，熟悉分布式、RPC、爬虫、消息队列等相关技
9. 丰富的Linux服务器部署、调优、问题排查、数据库SQL优化、性能优化经验；
10. 具有优秀的解决问题的能力，有较强的逻辑思维、独立思考和分析判断能力强；
11. 具有较强的沟通表达能力和良好的团队合作精神，较强的抗压能力和问题解决能力；
12. 责任感强，做事有耐心，认同公司企业文化，具有良好的职业操守。

                                                        

    

加分项：

1. 同时熟悉Java和Python优先。
2. 具有数据挖掘、自然语言处理等背景者优先；
3. 有新闻门户类爬虫经验者优先；
4. 有 CI/CD 自动化测试经验优先；

元知智慧建设科技有限公司依托合生创展集团和元知科技集团强大的资源背景，致力于打造“全生态一站式智慧建设管理服务平台”，依托5G、BIM、GIS、AIoT、大数据、人工智能等技术手段，面向国内外的设计、开发、建设、施工、材料、劳务、金融等相关企业，提供完整、优质的互联网服务和支持服务，同时打造与政务平台联动的适用于智慧城市管理的新基建科技平台。

我们是谁
元知壹建通 ？ 智慧建设平台致力于打造“全生态一站式智慧建设管理服务平台”，
依托5G、BIM、GIS、AIoT、大数据、人工智能等技术手段，
面向国内外的设计、开发、建设、施工、材料、劳务、金融等相关企业，
提供完整、优质的互联网服务和支持服务，
同时构建适用于智慧建设管理的数字化管理平台。

我们做什么
连接场景，连接业务，连接生态，万物互联

我们的优势
行业内提供全业务、全对象智慧建设互联网管理平台
实现全对象在线无缝协同，全业务管理提速增效；为企业提供“一二级项目自动化投资测算及投后管理，智能强排，一键报审，自动预结算，自动验收，智能财税等”多种智能化服务；平台内置多种金融服务，帮助企业降低融资成本，实现资金高效运转;结合BIM，AI，AIoT，大数据，5G等新技术，赋能业务执行，帮助企业降本提效；聚合优质的上下游服务生态合作伙伴，为企业提供多样增值服务。

拓展金融化交易新场景 实践普惠金融新通道
运用金融科技手段，基于建设领域全业务平台真实交易背景，构建核心企业与上下游企业一体化的金融供给体系和风险评估体系，提供系统性金融解决方案，快速响应企业结算、融资、财务管理等需求。帮助中小企业具备金融支持能力，降低融资和交易成本；帮助金融机构丰富和完善风控措施，批量获取优质资产；服务“金融支持稳企业保就业，保障供应链完整稳定”的大局，促进地方经济良性发展。

集成国家、地方、行业、企业标准 提高政府相关部门对建筑行业数字化监管能力
为政府“规、建、管”一体化平台提供建设全领域数据支撑，提供城市规划一张图数字底板，构建数字门户，提升政府审批效率，为企业办事提速增效；打造区域内设计、建设、建材、劳务用工产业化互联网平台，孵化产业集群，建立产业平台经济新模式，助力政府招商引资，促进就业。