案例丨百亿级电子合同的存储之道
 
 
 

产品目录

 

联系我们

  • QQ:请填写您的QQ
  • 电话:请填写您的联系电话
  • 电子邮箱:请填写您的电子邮箱
  • 地址:请填写您的地址
  • 更多

案例丨百亿级电子合同的存储之道

发布时间:2021-05-19 11:04:07
 
中国金融认证中心(以下简称CFCA)采用杉岩数据的海量对象存储产品,重构了“安心签”原有的存储基础架构,极大简化业务系统的开发,提升了电子合同业务的服务质量与服务效率,无惧业务百亿级增长。 在人们印象中,传统的商务合同签署需要面对面,比如房贷、信贷等,都需要在约定的时间、地点,手工签署纸质的合同件并盖上印章,才具有法律效力。 随着普惠金融与金融科技的深入拓展,消费结构的变化,越来越多的商务交易都转移到互联网上进行,呈现小额、高频的特点,若采用传统的签约模式,效率低、服务成本高。即便不是面对面,而是通过邮寄等方式签约,合同上的印章、签名真实性也难以鉴别。在管制机构的政策支持与鼓励下,通过第三方权威机构提供的电子合同,日益受互联网金融行业的认可。如CFCA推出的安心签服务。 安心签电子合同平台以电子签名技术为核心,为用户签发数字证书,并提供数据电文或电子合同文件的在线签署、存储和管理服务。该平台基于密码学原理,对电子合同签署者的身份进行认证,防止抵赖、篡改、伪造,保障电子合同内容的真实性、完整性、机密性。目前支持PC网页端、手机App等多种渠道签署,并对接第三方司法鉴定机构,能够为用户提供完整的司法取证记录。鉴于CFCA本身已为银行提供认证服务,积累了大量的银行客户群,因此安心签的主要客户也集中在银行及互联网金融领域。如:中信银行、徽商银行、360借条、拉卡拉、阳光保险等。 百亿级电子合同的困扰 2015年,互联网金融业务蓬勃发展,给电子合同业务的发展提供了非常好的契机。CFCA打造的“安心签”是SaaS服务平台,业务产生的合同量是传统金融业务的数十倍,而且可预见到,未来大量金融机构的合同也将汇聚到CFCA的数据中心,预计需要存储的电子合同数量达到数十亿甚至数百亿。 为此,2015年在安心签平台技术方案设计伊始,CFCA技术团队首先评估了传统的NAS方案,评估测试发现:传统的中高端NAS,按照每个月一个挂载点,当每个月的数据量超过千万规模时,写入发生超时的概率就很大。咨询了几家高端的NAS厂商后,由于报价高,CFCA最终不得不放弃采用传统NAS的方案,而选择了本地数据库+ NAS的混合存储方案。其中,“数据库+高配硬件”作为一级存储承载业务压力,存储一个月的数据;超过一个月的数据则通过业务归档到多个中低端NAS中,为历史数据提供查询服务,也降低历史数据的硬件成本。 截止到2018年下半年,安心签的电子合同每个月已产生接近5000万个约500KB左右的PDF文件,预计2018年底的月增长量会达到8000万个文件。 然而, CFCA在两年的使用与探索过程中,逐步发现“数据库+ NAS”的存储架构暴露出一些问题: 高峰性能无法满足业务需求:数据库的高峰性能只能处理1000TPS(每秒写入文件数)的写入,而现有业务峰值经常达到2000TPS以上,这会导致部分业务请求超时或者堆积。如果提升性能,可能需要更换更高配的硬件。 名字空间不统一:应用需要维护数据库和NAS不同物理名字空间的关系,特别是随着数据的积累,NAS的挂载目录越来越多,增加应用的复杂度。 温数据迁移管理复杂:需要通过工具迁移数据,且迁移后需要业务系统调整文件挂载,增加维护和变更的工作量。 心里有“数”才安心 CFCA的技术团队不得不重新考虑优化已经使用两年的存储架构方案。此时杉岩数据闯入了CFCA的视线,双方对采用分布式存储技术优化现有的存储架构达成共识。相对于传统的集中式存储,杉岩数据提供的海量对象存储产品采用了软件定义框架,不易形成瓶颈的控制器,具备去中心化的关键特点,横向扩展更为灵活,首先满足了CFCA在扩展性方面的刚需。 为解决业务高峰时期的性能需求,杉岩海量对象存储采用哈希计算替代索引查找访问文件的先进技术,并且在数据存储方面,采用创新性的文件合并和独有的元数据缓存技术,保证了小文件优越的访问性能。此外,杉岩的海量对象存储支持动态扩展,只需要通过简单操作即可动态地增加服务器,线性提升性能和容量。 杉岩海量存储产品提供单一名字空间,支持千亿级文件,从而保证无论文件数如何增长,应用开发部门看到的永远是统一的路径。最后,杉岩海量存储产品支持不同配置的服务器和磁盘作为硬件平台,组成热/温存储池,能够将数据自动从热池流动到温池,但访问的路径,访问的方式完全不变,应用无需感知具体的硬件设备和位置。 2018年年底,CFCA邀请了国内知名的几家分布式对象存储厂商进行测试,每个厂商测试1个月,主要关注点在于:一是否真正保证海量数据下的性能平稳性;二是产品本身的可靠性和稳定性。测试选择在一个4台服务器的小规模存储集群上,文件数量从0增长到10个亿文件,考验读写性能的平稳性。在测试过程中,只有杉岩数据的海量对象存储产品,在文件数量增加到10亿以上,相比未写入文件的存储,访问时延下降不超过10%。 而在数据安全性方面,杉岩提出的三层数据安全性方案也让高度谨慎的CFCA放心:第一层,杉岩存储集群内部提供数据副本和纠删机制,令业务数据的可靠性有保障;第二层,内置自动备份恢复机制,文件发生人为删除或误覆盖时,系统会自动对删除或覆盖的内容进行文件备份,并提供完善的恢复机制,完全取代外置的备份软件和外置备份设备;第三层,提供跨数据中心容灾功能,一旦某一个数据中心的系统出现问题,另外一个数据中心也有完整的数据备份。 对CFCA现有数台NAS的数据搬迁和利用的问题,杉岩提出:一方面杉岩海量对象存储支持NAS的异构技术,在数据无需搬迁的情况下,通过统一的S3接口,统一的名字空间访问NAS上已有的数据。另一方面,在NAS需要淘汰的情况下,可以启动内部的搬迁过程,数据从NAS设备搬迁到服务器硬盘上,而整个搬迁过程,业务无需任何调整或者停机。(见下图) 采用杉岩海量对象存储后的安心签电子合同平台 经过综合评估,2019年年中,CFCA与杉岩数据达成正式合作。杉岩海量对象存储产品全面替换CFCA原来数据库+NAS的方案,对整个安心签的存储基础架构进行重构,极大简化业务系统的开发,提升了电子合同业务的服务质量与服务效率,无惧电子合同数量百亿级的增长。 过去商务交易都在线下进行,如今通过电子化的照片、活体视频、指纹等认证手段的应用,越来越多的交易活动都发生在线上,企业的获客难度和客户服务成本由此降低,服务质量和效率得到提升。与此同时,IT技术的快速发展和业务的不断升级变革,使得业务应用系统产生的非结构化数据的规模也越来越大,呈指数级爆发式增长。基于公有云技术发展而来的对象存储技术,是企业当前解决非结构化数据的重要基础设施,也是应对之策。 举报/反馈