“万物互联,数据和石油一样成为重要的战略资源,数据库行业不会一直是赢家通吃,市场上有大量的机会”,我在给新入职员工做培训时,销售部好兄弟张超电话打来告知我来活了嘿,下午一点到Costa碰面。
这是我入职人大金仓的第10年,早在大三时我就报名参加了人大金仓的免费培训班,毕业论文也是受到冯玉老师课程的启发,大学毕业后加入人大金仓,从一个实施工程师成长为高级项目经理后的第三年,已主导十多个信创领域国产化升级改造的解决方案。
明月出天山,如何拿大单?
下午一点我准时到达约定地点,超哥乐呵呵的介绍了X央企的OA系统承载30万注册用户办公业务,系统采用的是国际巨头Oracle的8节点RAC进行支撑,沉淀积累了高达35TB的海量数据,拟定5家国产数据库厂商参加测试,超哥说已拿到前期测试名额。第二天,超哥和我拉着测试、技服等部门5位同事一起开会讨论: X央企的OA系统,界面种类繁多,业务流转逻辑复杂,提供了包含公文管理、督办管理、档案管理、档案利用、综合办公、个人管理、信息发布、用章管理、日常办公、综合行政、系统管理、业务管理等业务功能……
如何拿下这个大单?这是考验我们产品性能和技服人员的硬实力,要说压力挺大的啊。通过深入调研系统业务特点和原系统数据库应用情况,结合业务场景,要完成数据库系统国产化替代升级面临三重挑战:
这几年,我国信息技术自主安全和技术创新的问题得到了空前重视。央企、国内头部企业纷纷响应,IT系统国产化升级,进入到实质性阶段。基于X央企对系统升级的需求出发,我和研发、售前、测试、X央企的应用开发商进行了一周的反复讨论碰撞,对应用原架构进行梳理、分析,结合数据库的性能特性、高可用方案、异构同步能力等落地可行性,形成了新的解决方案架构。
为保证系统运行的稳定性和可靠性,我们决定将系统拆分为集团OA和金融OA两部分,并将金融OA分省分批进行国产化升级的方案提交给超哥。
十年磨一剑,看花落谁家?
3个小时候后,超哥就来电说客户已通过我们的初步提案,下周一到现场和4家友商一同参与测试。和X央企国产化改造负责人开会确定测试流程,对承载用户数据量和运行时间进行实际测算,以及30万注册用户未来业务扩展后,海量数据翻倍增长时系统承载能力和上万并发时系统稳定性。
2021年3月,金仓和4家厂商一同在X央企位于北京的总部大楼,开启OA系统初次POC测试、鲲鹏920+环境、TPCC测试、数据迁移及典型SQL压测、典型业务场景压测、应用适配……TIPS:金仓KES数据库的高性能特性提供内置150+优化规则、JIT(SQL运行时编译)与PLSQL编译执行技术、CSN快照优化、多核NUMA优化、进程核心绑定、进程池化、CAS原子指令级优化等高级技术,目前全国产环境(鲲鹏920两路芯片)TPCC测试,单机TpmC值超150w。
在1000、2000和3000并发的压力下,金仓实现毫秒级的快速响应(在两类关键业务场景中,平均响应时间分别为2ms和55ms),性能超过其他参与测试的厂商,获得客户的一致认可。
从第一轮到第七轮,历经半年时间,18项性能测试以及系统适配,金仓数据库指标最优。
我不禁唱出了在希望的田野上。
2021年7月,项目进入了投标准备阶段,我们都在紧锣密鼓的和研发、技服等部门沟通细节修改标书。8月中旬,迎来了X央企OA系统国产化替换升级项目招标的日子,带着厚厚一摞资料的我和超哥一起到了X央企总部大厦,刺穿云层的阳光就像根根金线闪耀着。
在与4家友商公开竞标中,人大金仓再次高分胜出,我和超哥相视一笑。但中标只是项目的开始,成就客户才是目标。
举手可近月,实施见真章
项目中标后,实施团队按照解决方案的思路于2021年8月下旬正式开干。
1、满足高并发高吞吐量的要求
01)业务按部门进行拆分,由原来的央企OA拆分为集团OA和金融OA,逐步进行国产化替换,第一期金融OA替换,其数据量由原来央企OA系统的总数据量35TB分解成约18TB大小;
02)冷热数据分离,将占总量67%左右的历史数据拆分到历史库中(独立部署的读写分离集群),金融OA的生产库中数据减少到6TB左右,进一步降低数据库压力,提升数据库整体性能;
03)深入调研系统业务特点和原系统数据库应用情况,该系统的读写请求比例大致为9:1,所以采用一主三备读写分离架构,可利用各只读备节点承接查询请求,有效降低主节点查询压力,提升数据库整体承压能力。
TIPS:Oracle RAC多节点的问题分析通过集群件提供的全局高速缓存服务GCS使用高速缓存融合算法,来保证每个实例中的全局数据一致性,从而造成整体性能损耗;另外集群件还提供GES全局入队服务,控制对全局资源的访问,这也会造成性能的损耗,RAC节点越多,并发越大,产生的资源争用和串行化点越严重,造成的性能损耗越大。
2、X央企全国大集中OA系统平稳上线
01)在有限的时间窗口内,实施和研发团队7*24小时支持,使用金仓迁移工具高效完成全量数据离线迁移实施工作,从而保证应用开发人员和业务人员有足够时间进行内部测试,最终分省上线顺利,应用系统运行良好;
02)全量数据离线迁移完成后,采用在线增量数据实时同步工具KFS将金融XC数据库中的数据在线增量同步到金融非XC数据库中,从而保证金融非XC OA端数据库中数据完整性,当金融XC OA出现故障时,可以轻松切换回金融非XC OA;
03)通过逐步四批次分省上线,类似于试点+推广的策略,有更从容的过渡和磨合期,减少对金融XC OA系统全国产化的压力;4通过应用访问入口统一控制:分省上线用户将只访问金融XC OA,其他省用户只访问金融非XC OA;在不改变OA业务处理流程及分省上线策略的前提下,满足金融OA的跨省审批业务流程,且产品技术相对成熟,风险可控。
3、专业技术服务团队高效完X央企OA系统的国产化升级改造人大金仓中标X央企OA系统国产化升级项目后,通过五步高效完成复杂场景的国产化升级改造,并提升了X央企OA系统的运营效率:
01)方案实施人员快速入场,同X央企、应用开发商建立联合工作组,形成问题处理快速通道;
02)一天内完成整体架构的安装部署;
03)紧密协同X央企的应用开发商,在两周内完成业务拆分、历史数据迁移;
04)经多次测试演练,达到9小时完成6TB+数据的完整迁移的性能指标;
05)通过一个月时间,分四批次完成全国31个省的OA系统整体上线。同时,搭建了基于KFS的双轨运行环境,以保障上线系统的数据完整性和业务连续性。
纸上得来终觉浅,人大金仓行致远
从2021年2月接到需求,到2021年12月X央企OA系统国产化升级改造的完美上线,作为高级项目经理,感触颇深的是,你全力以赴后,才会知道你行不行。
现在,借助人大金仓创新的数据库整体解决方案,X央企的全国大集中OA系统正持续稳定运行,金仓数据库管理系统具备高可用、高并发、隐私、合规等数据库行业高标准,满足央企集团30万用户办公系统海量业务无损耗、数据一致性、数据安全性等全面国产化的升级改造需求,该项目的成功实施让X央企对金仓自主研发的OLTP数据库系统信心满满。
在全球数字化和信息技术让数据流转加快的当下,数据存储、管理和价值挖掘已成为大型企业发展的刚需,人大金仓将以超出数据库行业的技术标准服务客户,一起点亮数字化时代的人间烟火。
