集群异常交易是什么意思(1688系统异常)

项目背景及目标

2014年9月3日，中国银行业监督管理委员会发布了《关于应用安全可控信息技术加强银行业网络安全和信息化建设的指导意见》。《指导意见》提出了，到2019年，安全可控信息技术在银行业总体达到75%左右使用率的总体目标，要求银行业金融机构应将提升网络安全保障能力和信息化建设能力纳入战略目标，将安全可控信息技术应用纳入战略规划。

我行异常交易实时监测系统采用了网络镜像数据解析技术。为提升全省农商行案件防范、风险管理水平，系统涵盖信贷、财会、资金、电子银行等所有业务，并进行了相应的升级改造工作，优化监测机制及高可用建设，提高风险防范的及时性、准确性、灵活性和前瞻性，从而实现金融风险的“全面覆盖、全面监测”及“横向到边、纵向到底”的管理目标。针对这样的目标，我们选用了基于数据守护技术的达梦主备集群的数据库解决方案，同时，在达梦数据库主备集群中，引入监视器作为仲裁，并对仲裁机制进行相应的优化，确保系统稳定运行，进而保障全省农商行金融风险的有效防范。

项目方案

根据项目整体计划，我行采用了基于数据守护技术的达梦主备集群的数据库解决方案，同时，在达梦数据库主备集群中，引入监视器作为仲裁，并对仲裁机制进行相应的优化，确保系统稳定运行，进而保障全省农商行金融风险的有效防范。

异常交易系统采用旁路集群数据，通过网络报文数据获取交易信息，对被监测系统无任何影响，由于网络流量大，系统执行效率高，对数据库效率要求较高。其系统架构如下图所示：

DM7 数据守护（Data Watch）是一种集成化的高可靠性解决方案，同时满足用户对数据安全性和高可用性的要求。解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题，满足用户不间断提供数据库服务的要求。为解决整体架构中的监视器的单节点故障问题，再引入shell脚本 crontab方式实现监视器双活。

系统架构：

主要组件说明：

是什么

1、主机和备机

数据守护系统中，支持用户所有数据库请求的数据库实例称为主机；主机的备份称为备机。

2、REDO日志重做

REDO日志重做的过程，就是备数据库收到主数据库发送的实时归交易档日志/本地归档日志后，在物理数据块上，重演数据修改的过程。

3、MAL系统

DM7通过MAL系统实现REDO日志传输。MAL系统是基于TCP协议实现的一种内部通信机制，具有可靠、灵活、高效的特性。

4、消息传递

DM7数据守护方案的核心是信息的传递，以及根据获取到的信息进行相应决策的过程，信息以TCP和UDP相结合的方式，在主备数据库、守护进程、监视器之间相互传递，并最终达到状态监测、控制和角色转换等目的。

5、守护进程

在基于守护进程的数据守护方案中，主备机上各自配置一个守护进程，通过守护进程之间的通信处理主备的检测、故障切换和恢复。

（1）守护进程作用

守护进程（dmwatch）是实现DM7数据守护方案的关键因素之一，在数据守护方案中主要作用有：

1）监控数据库运行状态，必要时重启数据库服务。

2）广播自身和其异常监控数据库的运行状态信息。

3）接收远程守护进程的消息，结合自身状态，切换数据库的运行模式和系统状态。

4）接收监视器的消息，通知数据库进行主备数据库角色转换、启动或关闭监控功能。

5）在主数据库或者主机出现故障时，负责将备数据库切换系统为主数据库，继续对外提供数据库服务。

6）在备数据库或者备机出现故障时，负责将主数据库的实时归档失效，使主数据库能够继续提供数据库服务意思。

7）在故障排除后，通知主数据库同步历史数据到备数据库，并在同步完成后，将数据守护系统恢复到可提供故障自动切换的状态。

6、监视器

监视器（dmwmon）是DM7数据守护方案的一个可选模块，部署在独立的第三方机器（监视器-1）上。监视器分为普通监视器和确认监视器两种模式，其作用如下：

1)监视数据守护状态

2)状态信息确认

3)控制数据守护状态

集群

4)shell脚本 crontab

为了避免监视器单机故障，满足对监视器双活的需求。在另外一台服务器（监视器N）上通过shell脚本 crontab方式，定时检测两个确认监视器所在服务器的状态，并自启动本机的确认监视服务。

创新点

1.国内首次验证国产达交易梦数据库满足农信业务系统的要求，实现金融软件完全自主可控。

2.在验证满足银行系统要求的基础上，拟选择部分关键业务系统应用和达梦数据库项目研究及落地应用，可为银行业实施国产通用数据库提供经验和指导。

3.行内目前最高安全级别和水平安全数据库的使用和实践，更好的保护数据安全和管理安全。

技术实现特点

达梦主备集群是通异常过守护进程机制来实现的，DM数据守护（Data Watch）是一种集成化的是什么高可靠性解决方案，该方案基于数据库REDO日志，不依赖于第三方软件和存储，用于解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题，提供不间断数据库服务，可同时满足用户对数据安全性和高可用性的要求。

1.完整功能的主库

主库提供完整的数据库服务， 与普通单节点数据库相比，主要的功能限制包括： 不支持修改表空间文件名、 不支持修改 arch_ini 参数。

2.活动的备库

基于独特的字典缓存技术和日志重演技术，备库在 Open 状态下执行数据同步，是真正意义上的热备库；在实现异地容灾的同时，用户系统可以只读访问备库，执行报表生成、数据备份等功能，减轻主库的系统负载，提高资源利用率。

3.高可用性

主库出现故障时，可以快速将备库切换为主库，继续提供数据库服务，确保数据库服务不中断。 切换过程一般在数秒钟之内完成。

4.多种守护模式

提供自动切换和手动切换两种守护模式，满足用户不同需求意思。

项目过程管理

异常交易监控和分析系统能够实现对异常交易情况的监测和控制功能，保障银行业务正常健康安全运行，同时，有效的业务量监控有助于对业务发展做出准确评估，可保证系统处理能力的及时扩容。系统提供可视化的运维界面，相关人员能够很方便的通过这些管理控制页面进行系统的维护和监控。

整个项目严格遵循我行信息化系统的建设标准和软件工程的标准执行，历经了需求分析、可行性分析和测试、测试环境试运行、生产环境运行的过程严格考验，最终确保了系统成功投产。

运营情况

项目建设完成后，系统运行情况良好；替换为国产数据库之后，其所有的业务场景执行效率，较原系统有较大的提升，用户使用与原系统无差异；项目投产以来，系统整体运行和维护都非常顺利、平稳，没有产生额外的工作量，相关的异常交易业务监控和分析数据准确，整体生产运行正常。

项目成效

国内首次在农信系统使用国产交易性数据库，进入到生产系统进行运行，并且成功运用。实现了金融系统从应用到数据库全面自主可控。

系统所1688有的节点和实例都采用了容灾设计，系统的高可用性得到了很大的提高。

系统整体安全水平进一步提高，采用了基于完全自主研发的国产交易数据库，数据安全得到了进一步的保障。

系统整体性能较原来系统有了明显的提升。

经验总结

1、国产化产品选型

产品选型上，选择有实力雄厚，能提供持续支持服务的公1688司。其产品经过行业和市场验证，在易用性、兼容性、开发运维成本均能满足行业要求。

2、国产化生态建设

3、安全有序推进国产化

安全高效的推进核心关键技术的国产化。安全可控的工作并非一蹴而就，需要在符合监管要求的前提下，充分考虑和设计业务连续性方案，科学合理的规划并有序实施。以数据库产品应用为例，可采取先读后写、先备库后主库、先外围后核心逐步走的实施策略。

4、加大国产化投入