2019正版漫画玄机图 > 解决方案 >

银行核心系统分布式数据库解决方案

2019-07-05 11:31 来源: 震仪

  随着互联网、云计算、大数据、人工智能、物联网等技术的飞速发展,全球数据量呈现爆发式增长,远远超出传统关系型数据库的处理能力,传统关系型数据库已经无法适应金融行业数字化转型对新型金融科技(FinTech)发展的需要。比如,数据量的爆发式增长与传统数据库有限容量之间的矛盾; 双十一、618 等购物狂欢节期间,业务处理的高并发系统压力与传统数据库性能无法水平扩展的矛盾;越来越高标准的业务连续性要求与昂贵的传统数据库容灾技术越来越难以满足要求的矛盾。因此,银行核心系统迫切需要具备支持海量数据场景下的高性能、高扩展、高可用等关键特征的数据库,促使银行核心数据库由集中式向分布式架构转型。

  近几年,分布式数据库技术取得突破性进展,不仅实现了海量数据场景下的高性能、可扩展性需求,还满足了交易型数据库必须支持的分布式事务、数据强一致性、高可用等特性。另一方面,X86 架构的PC 服务器借助各种硬件加速技术(如SSD、RDMA、GPU 等),弥补了只有大型主机才具有的高性能、高可靠性短板。这些技术发展都为分布式数据库替换金融核心数据库提供了强有力的支撑。

  中兴通讯研制的分布式数据库GoldenDB, 采用share-nothing 架构,是一款具有银行基因的金融级分布式数据库。GoldenDB 提供传统关系型数据库OLTP 的所有特性, 并且改变了传统数据库集中存储的限制,采用分布式架构存储,从而实现了从计算层,存储层的可扩展性。

  GoldenDB 分布式架构,可以多地多机房部署。每个数据中心对外提供服务,当一个数据中心发生异常时,由其他数据中心接管,从而保障系统的高可靠性。数据中心间进行数据实时同步,并在接管时保证数据的全局一致性。GoldenDB 可以部署在全球多个区域,多个数据中心之间进行数据容灾,每个数据中心包括计算节点、全局事务管理器、存储节点和管理节点。多个数据中心的计算节点独立运行,全局事务管理器之间同步全局事务信息,存储节点之间实时同步业务数据,管理节点也实时同步元数据信息。

  无共享分布式数据库由计算节点集群、存储节点集群、管理节点和全局事务管理器五个部分组成。组成分布式数据库的各个节点无须共享任何资源,都是独立自治的通用计算机节点,之间通过高速互联的网络通信,从而完成对应用数据请求的快速处理和响应。

  其中,计算节点集群层是分布式数据库的核心层,其由无状态的计算节点组成。计算节点从驱动层或者管理节点接收用户的操作,进行逻辑优化和物理优化,生成满足分布式事务一致性的分布式查询计划。计算机节点在执行分布式查询计划时,通过持续地访问存储节点,从而完成用户的最终操作请求。用户可以根据应用对可靠性、可用性、性能等因素的不同要求,对计算节点进行合理的规划和划分。

  存储节点集群是应用数据的最终存储组件。所有的存储节点组成一个或多个数据库集群。一个集群中可以有一个数据库,也可以有多个数据库。数据库集群由一个或多个安全组组成,集群中每个表中的数据按照某种策略进行横向分片后存放到对应的安全组中,分片策略一般有复制策略、哈希策略、范围策略、列表策略。随着安全组数量的增加,每个安全组承载的数据量和读写负载会相应地减少,从而在存储节点集群内部具备了读能力和写能力的水平扩展。安全组是由一个或多个存储节点构成的数据库节点组,组内的数据库节点拥有相同的数据。存储节点组通过多数派协议实现数据的一致性。安全组内的存储节点数量越多,可靠性就越高,读能力也得以进一步扩展。

  管理节点在分布式数据库中负责集群管理流程,不涉及业务的访问流程,无负载压力,同样通过多数派协议保证该节点的高可靠性。管理流程主要包括元数据管理、计算节点集群管理、存储节点集群管理、任务管理以及运维管理。

  全局事务管理器在分布式数据库中维护全局事务的全生命周期,是分布式事务控制中心,提供申请、释放、查询全局事务的能力。

  GoldenDB 是一款兼容MySQL 的分布式数据库产品,具备分布式事务、高性能、强一致高可用、线性扩容和弹性伸缩、企业级安全等特性,能够同时提供智能运维、自动化运营、监控告警等配套设施。

  金融行业核心交易类业务对事务的一致性要求很高, 目前业界流行的最终一致性分布式事务方案无法满足其要求,其两阶段提交由于同步阻塞、读数据可能不一致等常见问题,同样无法满足金融行业交易类业务对性能和一致性的要求。GoldenDB 引入全局事务管理器GTM(-Global Transaction Manager) 对全局事务的生命周期进行管理( 创建/ 释放/ 查询),并为全局事务分配GTID,实现事务之间的隔离性,保证数据的过程一致性和最终一致性。

  在分布式数据库中,系统的高可用性和数据强一致性往往不可兼得。一般情况下,对于一致性要求比较高的业务在响应延时方面就会降低要求,适合选择CP 模式;对于响应时延有高要求的业务在数据一致性方面会降低要求, 适合选择AP 模式。而银行核心系统对数据一致性和可用性都有很高的要求,正常场景下需保证数据的强一致性要求,当出现数据中心间的网络异常(如网络抖动、丢包、瞬断等) 时,依然保证银行核心系统的可用性。此外,支持各种跨数据中心部署方案,如同城双活,两地三中心等,全面保障服务高可用,能做到RPO 为0,RTO 小于30s,远高于银保监会标准要求。

  GoldenDB 具备完善的运维支撑体系,设计以智能化、最简化为目标。系统提供统一的运维模块OMM,提供网络拓扑、集群管理、元数据管理等功能,在OMM 上可以对系统进行配置、发布、监控和运维管理。

  中兴通讯研制的GoldenDB 分布式数据库产品,创新地基于全局事务ID 技术实现了强一致性分布式事务处理能力, 通过高并发、低时延的事务处理和数据复制解决方案,攻克了数据库的两地三中心高可靠容灾、在线数据重分布与不停机扩容等多项关键技术难点,满足各行业对数据库平台安全、可靠、高扩展、高可用、易维护的要求。关键创新点包括:

  1. 实现了强一致的分布式事务,通过已提交事务回滚、分布式隔离级别等关键技术,保证数据的过程一致性和最终一致性;

  2. 高度兼容MySQL 通信协议、语法及客户端,数据查询语句及数据存储结构都完全兼容MySQL,确保对MySQL 数据库平滑迁移,同时兼备MySQL 经长期实践验证的可靠性。

  3.GoldenDB 采用无状态化SQL 集群加存储节点的高可用分布式架构,每个存储节点内采用一主多从的架构设计, 数据多副本存储,支持在线重分布,可自动实现故障秒级切换,允许业务不停机进行扩容,线性扩展。支持各种跨数据中心部署方案,全面保障服务高可用,能做到RPO 为0, RTO 小于30s,远高于银保监会标准要求。

  4. 在存储节点之间,通过中兴自研快同步日志复制机制保障数据写入的高性能和数据强一致性;支持多样的备份恢复策略,并保证恢复后的数据全局一致性;

  5. 智能易用轻运维:GoldenDB 支持自动部署,多种分片模式、平滑扩容及自动运维,扩容与故障切换时业务零中断,无需人工干预;GoldenDB 具备云服务所有的弹性、敏捷、按需和轻运维的特性。

  6. 自主可控:基于X86 服务器,以及中兴通讯自主开发的金融级分布式数据库GoldenDB。

  7. 成本低廉:分布式的单账户成本可以降一个数量级, 运营成本实际上是创新成本的奖励,推动了银行创新业务的加速发展。

  多年以来,中兴通讯一直致力于实现分布式数据库的自主可控。为了满足电信、金融、政务等业务场景需要,中兴通讯历经十几年的自主研发打造了中兴通讯分布式数据库产品GoldenDB,其采用分布式集群架构,这种集群架构具有较高的灵活性,也大大简化了各个节点之间的通信机制及其对于硬件的需求。基于这种灵活的架构,可以轻松实现同城双活、两地三中心、多地多中心等高可用方案。

友情链接:

Copyright © 2002-2019 2019正版漫画玄机图版权所有