在中石化EDW on HANA系统中的成功上线,不仅意味着着华为企业业务又一项世界纪录的诞生,同时也证明了华为在IT基础架构产业中最顶尖领域中的技术和实践能力。
在大数据时代,企业所掌握的信息已经成为其最为主要的竞争力来源。而如何通过最为科学的方式,对掌握的信息进行有效的管理和分析,从中发现和创造价值,已经成为现代企业从信息主管到CIO最为关注的话题。
围绕“以客户为中心”的经营策略,构建高效率运转的企业数据仓库(EDW),对企业在经营过程中积累的海量业务数据进行有效的分析和管理,已经被越来越多的CIO当作是改善工作流程、提升运营效率、优化客户关系、挖掘潜在商机的有效手段。
而随着信息化手段的改进以及竞争的加剧,在企业需要分析的业务数据以指数级别不断增加的同时,对于数据分析和处理的时效性要求也不断凸显。正是出于这样的需求,以SAP HANA为代表的“内存计算”式数据分析和处理解决方案正式走上台前,成为追求竞争力的企业对业务数据进行实时分析和处理的主要方式。
而与传统的IT基础架构部署相比,SAP HANA这样的实时数据分析处理方案不能承载在普通的IT基础架构之上。由于涉及到海量的业务数据且计算全部在系统内存中完成,支撑SAP HANA单服务器2T内存的IT基础设施,有非常独到的服务器内存设计、分布式存储设计和更低时延更高带宽的存储网络。同时,对系统可靠性也有着非常高的要求,因为中石化EDW系统承载中石化集团公司数十家单位日常财务数据实时分析处理任务,如果系统故障,则会为业务带来重大的损失。而由于业务数据的不断增长,用户对于整个系统的可扩容性同样有非常高的要求。
也正是因此,只有经过SAP认证,能够满足系统性能、可靠性、易用性和可扩展性等方面高要求的系统,才能够承载这样关键的业务应用。目前,只有华为、惠普、戴尔、联想等市场主导的IT基础架构供应商有能力为SAP HANA应用提供系统支持。在其中,目前中石化EDW on HANA商用案例是全球最大规模的SAP HANA商用案例,同时也是目前全球最大的单节点2TBHANA集群的应用,就是依托于华为IT基础设施建设的中石化EDW on HANA项目。
作为全球最大的企业之一,中国石油化工集团公司业务领域涵盖整个石化行业的全部生态链,包含多条产品线的、覆盖全国乃至全球的产销渠道体系。如果用树的枝干来比喻一家企业的产销渠道涵盖的产业链,那么中石化的业务则好比由盘结交错的参天大树组成的整片原始森林,对其产生的海量业务数据进行有效管理,难度可想而知。
随着业务数据的不断增长,传统的EDW+BW系统无法满足不断增长的业务数据对系统性能的高要求,这也是中石化选择SAP HANA的重要原因。集团从2013年就开始尝试在销售板块中试用SAP HANA,而随着EDW on HANA系统的建成,中石化的整个业务数据分析处理模块已经全部基于最为先进的内存计算技术,为企业的竞争力带来难以估量的巨大帮助。
承载中石化所有业务实时数据分析处理任务的EDW on HANA项目,是中石化“十二五”规划中全面建设石化统一规划、统一标准、统一设计、统一投资、统一建设、统一管理的“六统一”IT建设模式中重要的环节。由于系统规模需求超过任何的已有项目,现有的HANA案例均不能为其提供充分的参考,因此选择高性能、可靠、可管理、可按需扩充的IT基础设施承载这一系统,也成为EDW on HANA项目建设中的核心难点。
基于华为在全球ICT行业中的技术实力和地位,以及之前在集团云资源池等项目建设中的成功合作案例,中石化选择利用华为HANA一体机来承载整个EDW on HANA项目的基础架构,并于2014年4月开始测试,经过严格的功能测试、压力测试、可靠性测试,以生产环境10倍的压力进行测试,在半年后正式投入使用。
在中石化EDW on HANA项目中,共使用2套HANA一体机,包括生产环境规模为8+1个2T HANA节点的集群系统和开发测试环境规模为3+1个1T HANA节点的集群系统。其计算和存储集群采取物理分离的方式,分别承载内存计算和数据库日志卷、数据卷的持久化保存功能。
集群之间通过56Gbps Infiniband连接,结合华为自有的分布式存储引擎软件Fusionstorage,以及作为日志卷的自研高性能ES3000 PCIe SSD卡,实现了低于业界平均50%-75%的数据时延。在分布式存储架构之下,华为HANA一体机方案可实现1.2GB/S日志的写带宽,满足中石化数据库高性能写操作特点。在所有HANA硬件解决方案供应商中,唯有华为采用了Infiniband网络和PCIe SSD和分布式块存储技术,这些技术很好地匹配了HANA内存数据库对低延时近乎苛刻的要求,华为SAP HANA解决方案相对其它厂商极具差异化竞争力。
承载于华为高端设备——FusionCube融合基础设施之上的华为SAP HANA一体机,在系统设计层面端到端保障系统高可靠。整机采用全冗余设计,整体系统无单点故障。在设计上采用计算和存储模块物理分离的方式来保证可靠性,独到的多机头并发分布式存储技术在保证20倍数据重构速度(30分钟恢复1T数据)的同时,实现存储可靠性大幅提升。
华为 SAP HANA一体机具备超大分布式存储缓存,56G Infiniband网络带来7~10倍的存储网络带宽提升,并具备2倍更低端到端网络时延。种种先进的技术保证了华为SAP HANA一体机在复杂查询、ETL数据抽取入库、数据生成等关键性能指标中的领先优势。同时系统通过软硬件加速组件,进一步提速HANA软件,为客户带来极速性能体验。
基于融合基础设施的华为 SAP HANA一体机支持预集成、预安装,针对服务器、存储和网络设备集中监控及运维自动化措施,其易于管理的特性能使企业Opex降低30%以上。其管理软件完全由中国团队自行研发的特点也保障了对代码级软硬件问题的定位和解决速度。
华为 SAP HANA一体机整套系统基于分布式架构,可以支持单计算节点和存储节点的平滑扩减容和集群拆分合并。同时由于采用高集成度融合基础设施,机架占用空间仅相当于之前的一半到1/4,其运维自动化特性能降低客户运维成本30%以上。
为保障中石化EDW on HANA项目的成功运行,华为在服务上投入了巨大的人力物力资源。仅在测试过程中,华为就投入了大量的人力物力资源来保证试运行的圆满成功,而为了保障项目上线后的日常运转,华为提供最高级别的维护保障服务解决方案,并提高了远程问题处理、备件先行服务的响应时间和响应速度,同时还增加了现场技术支持等服务。
实际运行结果印证了中石化选择华为HANA一体机解决方案的正确性。在为期6个月的系统测试过程中,中石化EDW系统的日常业务处理能力相对传统高端小型机和高端存储的方案,平均提升了2-4倍。而在中石化EDW on HANA系统正式上线之后,其综合性能提升显著。月结业务处理平均提升3-5倍,系统综合性能提升显著。BP0系统资源充足,负载高峰期运行稳定。BP0 PSA至输出层的处理链提升4–6倍,清洗、加载速度慢问题也得到了完满的解决。
在中石化EDW on HANA系统中的成功上线,不仅意味着着华为企业业务又一项世界纪录的诞生,同时也证明了华为在IT基础架构产业中最顶尖领域中的技术和实践能力。目前,华为SAP HANA一体机已服务于能源、医疗、教育、咨询、制造业、零售业、政府和高科技、运营商等众多主流行业客户,并在项目中积累了丰富的实施和运维经验。大数据时代,相信在更多的行业之中,华为领先的技术和服务将持续不断地为企业用户带来全新的竞争力。