CAE高性能计算平台建设方案.docx
- 文档编号:30330994
- 上传时间:2023-08-13
- 格式:DOCX
- 页数:36
- 大小:50.12KB
CAE高性能计算平台建设方案.docx
《CAE高性能计算平台建设方案.docx》由会员分享,可在线阅读,更多相关《CAE高性能计算平台建设方案.docx(36页珍藏版)》请在冰豆网上搜索。
CAE高性能计算平台建设方案
CAE高性能计算平台建议书
第1章概述
CAE一直是高性能计算的主要应用领域。
随着现代汽车技术的发展,特别是与其它学科如数学、物理、化学、材料科学的结合,汽车应用所需处理的数据信息量不断增加,对运算能力的需求也越来越大,由于并行计算技术的飞速发展,汽车CAE模拟的应用平台也逐渐从巨型机过渡到高性能计算机系统,这也为用户提供了一个具有更高性价比的选择。
近年来,高性能计算作为大规模CAE应用的基石,在工业和制造业领域的应用越来越普遍和广泛。
从TOP600的统计信息来看,工业领域所占的比例在不断增加。
2005年6月,工业用户使用的高性能计算机占到52。
8%.而其中的半导体和制造业用户所占的比例相当可观.其中美国半导体公司大约有70台。
许多国际著名的制造业大公司已实现了产品的虚拟化设计和制造,并实现了全球资源共享,利用全新的理念设计产品.美国、日本的一些公司都拥有总计算能力超过数十万亿次的高性能计算机用于新产品的研发。
主导世界制造业方向的大集团公司目前都拥有大量的超级计算机用于产品设计和数据处理,制造业信息化是知识经济时代企业核心竞争的必要组成环节。
第2章关于IBM高性能计算的简介
高性能计算多年来一直是科技综合实力竞争的制高点,也在一定程度上反映了各大公司在系统研发方面的实力。
在过去十年中,高性能计算技术正处于创新的高峰期,其处理速度和总体计算能力的发展远高于摩尔定律描绘的芯片技术的发展速度。
作为行业的技术领先者,IBM公司在这一领域积累了长达半个世纪的丰厚经验,并在关键技术领域不断创新,发明了包括并行处理、对称多处理机和高性能计算机系统等并行计算的核心技术,并通过它们始终保持着在业界的领先水平.过去15年以来,IBM的专利数量都一直居于所有美国公司的首位。
IBM长期以来致力于高性能计算领域的技术发展和应用完善,当其它IT厂商由于机会或者财务限制,在这种科学计算市场中进进出出时,IBM就从每年50亿美金的研发经费中按比例、持续地投入高性能计算领域。
IBM承诺将保持在高性能计算领域的领先位置。
IBM发明了包括并行处理、对称多处理机和集群等技术,并通过它们始终保持着在业界的领先水平。
并且IBM还承诺,通过利用和增强基于开放资源技术与工业标准服务器的Linux集群,来提供给客户更多的机会.IBM将会成为这种方案的领先提供商,我们在世界各地成立了专门的队伍,为Linux的发展贡献力量,帮助客户或合作伙伴将应用移植到Linux平台,开发更多的新技术和应用.
IBMLinux集群系统是利用先进的体系架构将IBM的Systemx系列服务器、Systemp系列服务器以及TotalStorage存储解决方案连接起来,通过集群技术实现高性能运算。
由于Linux集群系统性能卓越,可用性高,扩展能力强和易于掌握等优势,一经推出,就被科学运算领域和商用领域的用户认可。
众所周知,IBM公司长期以来在高性能运算方面投入了大量的精力,并取得了很好的成绩.在高性能运算TOP500名中,IBM公司占有很大的份额。
IBM的大规模并行处理机SP系统已广泛地运用在各个领域,该机(深蓝)曾在1997年中的“人机大战”中因战胜棋王卡斯帕罗夫而享誉全球.作为后起之秀的Linux集群系统,吸取了SP大规模并行机的诸多优势,并且将SP上的优秀的系统管理软件和并行处理方面的程序移植到Linux集群系统上,如并行系统管理软件PSSP和通用并行文件系统GPFS等,从而使Linux集群系统不仅能在并行运算方面的性能得到保障,增强了集群系统的可管理性,最新的技术进步使得在相同的空间内采用刀片式服务器,从而将节点密度提高一倍,大大降低成本。
也正因为如此,IBM的Linux集群解决方案越来越受到众多的用户群的关注,其中包括著名的蓝色基因(BlueGene)以及目前在全球高性能计算集群中排名第一的“走鹃”(RoadRunner)。
图1:
蓝色基因系统示意图
在2008年6月最新公布的全球500强超级计算机中,188套来自IBM,其中5套位于前10名,35套位于前100名,其每秒钟的运算能力总和达到了8903万亿次,是500强所有系统运算能力总和的39。
4%,占绝对主导地位.其中,全球最快的计算机是IBM的“RoadRunner",实测浮点运算能力达到每秒1105万亿次。
以下是目前全球超级计算机前十强的名单,IBM占据了5席:
#
Ven—dor
RmaxTFlops
Installation
1
IBM
1105
DOE/NSSA/LANL
(QS22/LS21)
2
Cray
1059
OakRidgeNL-Jaguar
(XT5QC2。
3GHzOpteron)
3
IBM
825.5
FZJJuelich
(72racksBlueGene/P)
4
SGI
487.0
NASAAmes
(AltixQC3。
0/2.8Xeon)
5
IBM
478.2
DOE/NSSA/LLNL
(104racksBlueGene/L)
6
Cray
463。
3
NICSUTenn—Kraken
(XT5QC2.3GHzOpteron)
7
IBM
450.3
ArgonneNatlLab
(40racksBlueGene/P)
8
Sun
433。
2
TexasAdvCompCenter
(QC2。
3GHzOpteron)
9
IBM
415.7
DOE/NSSA/LLNL
(36racksBlueGene/P)
10
Bull
274。
8
FZJJuelich
(QC2.93GHzNehalem)
来源:
http:
//www。
toP600。
org
在国内,IBM的高性能计算机系统客户遍布生命科学、环境科学、物理学、化学、数学等自然学科领域,以及高等教育、石油勘探、航空航天、汽车制造等各行各业,其中包括目前国内运算能力最强的中国国家气象局UNIX高性能计算机系统(21.7TFlops),以及目前国内排名第二的中科院网络中心百万亿次超级计算机。
为了更好地提供高性能计算应用支持,IBM和许多全球领先的高性能计算应用软件提供商进行了紧密合作.在CAE领域,长期以来IBM的行业专家在CAE代码并行化和优化方面有着有丰富的经验。
第3章汽车行业CAE应用程序的特点及计算平台的选择
汽车行业CAE分析的过程
一般说来,CAE分析主要包括前处理、计算分析和后处理这3个过程.前处理主要是建立问题的几何模型、进行网格划分、建立用于计算分析的数值模型、确定模型的边界条件和初始条件等;计算分析是对所建立的数值模型进行求解,经常需要求解大型的线性方程组,这个过程是CAE分析中计算量最大、对硬件性能要求最高的部分;后处理则是以图形化的方式对所得的计算结果进行检查和处理
图1给出了采用计算机进行产品开发的流程,包括建模、前处理(模型修改和网格生成)、计算分析、交叉学科综合及后处理几个部分。
其中高性能计算主要应用于计算分析部分,统称为计算机辅助工程(CAE).图1是CAE的分析过程。
图1计算机主要在CAE分析过程的后期解算部分发挥作用
CAE高性能运算应用程序的特点
CAE高性能运算的应用可以分为隐式有限元分析(IFEA)、显式有限元分析(EFEA)和计算流体动力学(CFD)三个子学科.采用隐式算法的软件主要有ABAQUS/Standard、ANSYS、MSC。
NASTRAN等,适合求解静力、模态、屈曲等问题;采用显式算法的软件主要有ABAQUS/Explicit、LS-DYNA、PAM-CRASH等,适合求解接触、碰撞、冲击等问题。
几乎所有的制造企业的高性能计算都依赖于独立软件开发商(ISV)提供的商业软件,只有流体动力学算题中结构网格计算类型的部分软件是用户自己开发的。
因此制造行业用户在购买硬件平台的同时通常会购买相应的科学计算软件产品.而在某种程度上,往往是应用软件的特性决定了硬件平台的选择。
从对计算资源的需求来说,隐式解法的基本特点是内存占用多、磁盘IO大、进程通信量大,因此,隐式解法要求系统的内存容量大、访存带宽高、磁盘IO速度快、通信延迟低;相对而言,显式解法对内存、磁盘IO和通信延迟的要求要低一些。
从软件的扩展性上来说,隐式算法和显式算法有明显的区别。
采用隐式算法的软件,扩展性相对较差,计算性能在8—16CPU以上就很难获得进一步的提升。
而采用显式算法的软件,扩展性就要好得多,在64-128CPU以内都能获得较好的并行性能。
下表给出了常用的CAE软件,并列出这些软件的特点,包括并行方式和可扩展性.
常用分析软件
CAE应用软件分类
应用软件
并行方式
扩展性
静态隐式有限元分析
(IFEAStatics)
ABAQUS
pthreads
低
高
ANSYS
OpenMP,MPI
MSC.Nastran
pthreads,MPI
动态隐式有限元分析(IFEADynamics)
ABAQUS
pthreads
ANSYS
OpenMP,MPI
MSC。
Nastran
pthreads,MPI
显式有限元分析(EFEA)
LS—DYNA
OpenMP,MPI
PAM—CRASH
OpenMP,MPI
RADIOSS
OpenMP,MPI
计算流体动力学(CFD)
FLUENT
MPI
STAR-CC
MPI
PowerFLOW
OpenMP,MPI
从上表中我们可以了解到CAE应用软件具有以下特点:
(1)IFEA类应用软件(如ABAQUS、ANSYS和MSCNastran)硬件平台支持的可扩展性不是很好。
Nastran对内存,I/O性能要求高;
(2)IFEA类应用软件通常使用共享内存方式(pthreads或OpenMP),进行并行处理,其中ABAQUS不支持消息传递方式(MPI)的并行;
(3)EFEA类应用软件(如RADIOSS、LS—DYNA和PAM-CRASH)和计算流体动力学软件(如FLUENT、STAR—CD和PowerFlow)的硬件平台支持的扩展性相对较好。
RADIOSSS/LSDYNA对CPU,I/O性能要求高;
(4)EFEA类应用软件和CFD软件以采用消息传递并行方式(MPI)为主。
高性能计算(HPC)服务器体系结构分类及特点
目前市场上常用的高性能计算服务器大致可以分为以下3种体系结构,即:
1.并行向量处理机(PVP)
PVP系统含有为数不多、功能强大的定制向量处理器(VP),以及定制的高带宽纵横交叉开关和高速数据访问。
由于这类系统对程序编制的要求较高,价格很昂贵且难于管理,因此,这种类型计算机主要集中在一些大型国家关键部门,在这里不再赘述.
2.对称多处理机(SMP)
SMP系统采用商品化的处理器,这些处理器通过总线或交叉开关连接到共享存储器.今天市场上常见的机型有IBMp系列服务器、HPQ的SuperDome、Alpha的ES、GS系列及SGI公司的Altix系列。
SMP系统通常具有以下特点:
(1)系统内的CPU共享并可以直接访问所有的内存;
(2)由一个操作系统管理整个系统;
(3)支持共享内存方式的并行模式,如OpenMP、pthreads等;
(4)支持消息传递方式的并行模式,如MPI、PVM等
(5)系统的价格相对较高;
(6)为提高系统的使用效率,需要有功能强大的资源管理软件和作业调度软件配合进行系统管理。
如LSF、PBS及IBM的WLM和TivoliWorkloadSchedulerLoadleveler等.
3.工作站集群(COW,ClusterOfWorkstation,简称Cluster)
Cluster结构是近年来发展势头很好的一种体系结构。
这类机型的技术起点比较低,用户甚至可以自己将一些服务器或微机通过以太网连接起来,配以相应的管理、通讯软件来搭建Cluster。
但是如果要构造高性能、结构合理并具有好的RAS特性的Cluster却不是一件容易的事情.几乎所有的国内、外计算机厂商都有自己的Cluster集群产品,如IBM的Cluster1350、联想的深腾系列及曙光的天潮系列等。
Cluster系统通常具有以下特点:
(1)系统由多个独立的服务器(在Cluster概念下称为节点)通过交换机连接在一起。
每个节点拥有各自的内存,某个节点的CPU不能直接访问另外一个节点的内存;
(2)每个节点拥有独立的操作系统;
(3)需要一系列的集群软件来完成整个系统的管理与运行,包括:
Cluster系统管理软件,如IBM的CSM、xCat等;
消息传递库,如MPI、PVM等;
作业管理与调度系统,如LSF、PBS,IBM的TivoliWorkloadSchedulerLoadleveler等;
并行文件系统,如PVFS、IBM的GPFS等;
(4)支持消息传递方式的并行模式,如MPI、PVM等;
(5)只能在单个节点内部支持共享内存方式的并行模式,如OpenMP、pthreads等;
(6)性能价格比好。
CAE硬件平台的选择
CAE在制造企业中承担着关键的业务,所以其高性能平台的选择非常重要,这个平台直接影响CAE的运行性能表现、整体成本和系统维护等方面问题。
想让CAE能实现“随需应变”,在高性能计算平台的选择上就需要进行全面的考虑。
1.CAE软件使用SMP系统存在的问题
理论上讲,SMP系统可以胜任CAE应用程序的运行,但是不可避免地存在一些问题.首先是SMP系统价格相对较高.而且CAE的某些应用软件的扩展性不好,如隐式有限元分析(IFEA)类软件通常只能用到最多8个CPU。
这个特点决定了配置超过8CPU的大SMP服务器没有太大的必要,反而会造成投资的浪费。
此外,SMP系统由一个操作系统管理,如果没有强大的资源管理软件和作业调度软件配合,很容易造成CPU分时处理多个任务的现象,即在一个CPU上同时运行多个进程,从而影响整个系统的使用效率,同时难于保证关键任务的按时完成。
常用的作业调度软件有PBSpro、LSF和OpenPBS,其中开放源代码的OpenPBS很难胜任复杂的CAE应用软件的管理,尤其是对共享内存方式并行模式(OpenMP,pthreads)的管理。
而LSF和PBSpro的价格比较高,同样会增加用户的投资.
2.CAE软件使用Cluster系统存在的问题
目前市场上的Cluster系统通常是用PC服务器作为节点构建的,每个PC服务器内部一般配置2个CPU.这种类型的Cluster系统在承担CAE应用软件运行任务时也存在一些问题,比如共享内存方式的并行模式只能运行在一个节点内部,也就是说,最多只能用2个CPU去处理OpenMP/threads类型的CAE任务,很难满足应用的时效性要求.又因为单CPU的处理能力限制,需要更多的CPU来完成一个计算任务,这样就需要购买较多CPU的软件许可证,增加了用户的投资。
3.SMP—Cluster混合架构:
CAE应用平台的最佳选择
如上所述,不同CAE软件对计算机系统的需求差异很大,例如NASTRAN应用对内存和I/O的要求很高;而CFD类的应用对CPU速度及网络连接有较高的要求。
为此,该计算机系统必须是一个平衡的系统,在CPU速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应该存在性能瓶颈。
当设计CAE高性能计算整体解决方案时,要充分考虑用户需求,比如资金预算、问题类型、分析规模、用户数量、软件License个数等,以此来确定最终的硬件选型。
根据客户以上各方面需求的综合分析,可采用以下三种方案:
1)以隐式分析为主的解决方案
常用的隐式有限元软件有ABAQUS/Standard、ANSYS、MSC。
NASTRAN等.根据隐式有限元分析要求内存容量大、磁盘IO快、通信延迟低的特点,推荐采用基于SMP架构的IBMPower产品,小规模的隐式分析也可采用x3850X5或x3755。
2)以显式分析为主的解决方案
常用的显式有限元软件有ABAQUS/Explicit、LS—DYNA、PAM-CRASH等。
相比而言,显式有限元软件对系统硬件的要求略低一些,从性价比以及软件的扩展性出发,推荐采用由2路的IBMSystemX作为计算节点的集群系统。
采用集群系统进行显式有限元分析具有以下优点:
1)采用集群系统,节点硬件配置可以略低一些,节省投资。
集群节点采用XXX系列处理器,系统内存的配置推荐XGB/Core,配置硬盘.
2)采用集群系统,可以为用户提供更多的CPU资源.
在同等价格的情况下,集群系统可以为用户提供更多的CPU资源.可以同时满足多个用户、多个计算任务的需求。
同时集群的各个节点也可独立进行运算.
3)采用集群系统,各个节点可以协同工作。
集群系统的特点在于虽然各个节点的计算性能有限,但是多个节点可以通过高性能网络进行协同工作,共同完成大规模问题的求解.目前主流的计算软件也都支持集群并行计算.
4)采用集群系统,进行扩展非常方便。
当需求增加时,通过增加节点数量,可以立即提升系统的整体运算能力,用户以前的投资不会浪费。
在集群系统中,网络的性能直接影响整个系统的实际运算能力。
目前市场上主要有三种高性能计算网络:
千兆以太网、万兆以太网和Infiniband.应该根据用户的预算和系统规模进行选择。
5)兼顾隐式和显式分析的解决方案:
SMP—Cluster混合架构
针对SMP系统和Cluster系统在处理CAE应用时存在的问题,我们可以考虑一种综合这两类体系结构优势的高性能计算机系统—-SMPCluster。
如图2所示。
图2SMPCluster和OpenSMP、Cluster的比较
IBMCluster1350Linux集群系统(IBM刀片中心):
IBM将目前最紧凑的刀片式服务器加入到Cluster1350集群产品中,使集群系统的集成度提高了一倍,即在一个7U高的刀片抽屉中可以放置14个刀片服务器.该产品不仅集成了IBM在x系列服务器、p系列服务器方面的多种技术和特点,而且是开放的技术标准,在系统的结构和散热方面都有许多的独到之处,其关键的中间板的冗余设计,大大提高了整个系统的可靠性,连接线缆的减少使集群系统的可维护大大提高.
IBM刀片中心BladeCenter可以安装四种类型的刀片式服务器,一种是采用IntelXeon芯片的HS22刀片式服务器,一种是采用AMD芯片的LS22/LS42刀片式服务器,一种是采用IBMPower6芯片的JS22刀片式服务器,一种是采用IBMPower架构CELL芯片的QS20刀片式服务器。
使用IBM刀片中心作为节点来构成Cluster1350系统具有以下特点:
(1)采用刀片服务器作为节点,使传统Cluster系统具有更高的集成度,更加省电,稳定性更高;
(2)刀片中心可以在7U高度中安装14片刀片服务器共28颗CPU的集群系统.刀片之间操作系统独立;
(3)节点间连接采用IBM为HPC专门设计的高性能交换机,其单通道带宽达到10Gb/s,并且每个节点都配置了双通道作为冗余配置。
这样在保证跨节点通信的优越性能的同时,提供了较高的稳定性;
(4)整个系统节点间使用消息传递方式的并行任务(MPI或PVM)。
(5)完善的集群管理环境,统一进行资源管理和作业调度。
管理软件包括:
●xCAT集群系统管理软件,可以同时管理多个集群,包括UNIX集群和Linux集群;
●TivoliWorkloadSchedulerLoadleveler作业调度软件,具有强大的作业调度、记帐及断点/续算功能;
●充分优化的并行使用与开发环境IBMPE,提供高性能的、完善的并行作业运行与管理;
●高性能的并行文件系统GPFS,为整个集群提供稳定的共享文件系统。
GPFS是一种高性能共享磁盘文件系统,可提供对集群中所有节点的快速数据访问。
单节点最高带宽15GB/s,I/O平衡调度改善吞吐性能,已安装的美国ASCIPurple实测达到102GB/s;
(6)高性能价格比.
IBM优势
IBM,即国际商业机器全球服务公司,1911年创立于美国,是全球最大的信息技术和业务解决方案公司,目前拥有全球雇员31万多人,业务遍及160多个国家和地区。
在过去的九十多年里,世界经济不断发展,现代科学日新月异,IBM始终以超前的技术、出色的管理和独树一帜的产品领导着全球信息工业的发展,保证了世界范围内几乎所有行业用户对信息处理的全方位需求.众所周知,早在1969年,阿波罗宇宙飞船载着三名宇航员,肩负着人类的使命,首次登上了月球;1981年哥伦比亚号航天飞机又成功地飞上了太空。
这两次历史性的太空飞行都凝聚着IBM无与伦比的智慧。
IBM在产品技术发展路线上始终保持清晰稳定的发展方向,产品设计生产上全面保护用户的已有投资。
IBM是唯一一家在高端服务器行业有能力自己设计、研发和制造的厂家。
IBM设计和制造CPU的成就是非凡的.从我们目前所熟知的铜芯片、绝缘硅技术,到后继的low—Kdielectric和siliconstrainin等新技术已一一被发明出来.
总体而言,IBM有很强的技术实力,在高性能服务器中引进了大量的主机上的先进技术,依靠“整体"的系统解决方案保证系统的可用性和可靠性,将高性能计算推广应用到“实际生产处理”系统中。
IBM多年在世界最快500套超级计算机中(TOP600)排名第一。
截止到2006年11月,其中前5套IBM占据前4套,前50套IBM占有46%,全部500套中IBM占48%。
IBM不仅在硬件技术上处于领先地位,在高性能计算软件方案上也有着独到之处.对于高性能计算机复杂的管理难点IBM有同时支持Unix/Linux平台的高效管理软件(IBMxCAT)。
对于影响大型高性能集群性能的I/O难点IBM有性能领先的通用并行文件系统(IBMGPFS),GPFS可以根据用户系统规模的不断扩展线性提升系统I/O带宽。
对于提高系统效率的作业管理软件,IBM有积累了长期大规模高性能计算经验的IBMTivoliWorkloadSchedulerLoadleveler,他可以实现资源利用率和吞吐量的最大化.对于影响高性能计算程序的编程环境IBM有历经几十年的强大编译器(最优的SPECOMP2001性能)和优秀的数学与科学函数库ESSL,PESSL。
IBM更有经过充分优化的并行运行环境IBMPE及调试工具。
其次,IBM在系统层面保证(大型)高性能计算系统的可用和可靠性,除上述系统连接、监控和系统管理功能外,IBM的优势在于IBM全球服务部以其在高性能计算上多年的经验和积累,将根据“应用"和“客户"的具体需求对整个系统运行环境的客户化,包括IP地址规划、主机名规划、操作系统包规划、各种服务规划以及集群系统本身的安装、维护、客户化、集群作业的分发、集群资源的分配、并行软件编译环境等等。
这点对于高性能计算进入实际生产应用意义深刻。
在高性能计算方面,IBM有一批资深的技术专家,他们不仅了解IBM的产品和技术,而且了解行业的应用,熟悉行业的应用软件
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CAE 性能 计算 平台 建设 方案