复杂工程力学高性能应用软件系统研制进展(高性能并行计算网格单元)

2016年科技部发布了“十三五”高性能计算重点研发计划专项项目,资助支持E级高性能计算机系统、高性能计算应用软件、高性能计算环境等的研制研发,其中“复杂工程力学高性能应用软件系统研制”是水利行业承担的唯一项目。
该项目面向E级(每秒百亿亿次,1018 FLOPS)计算,研制一套涵盖静动力学分析、模态分析、冲击分析、材料损伤与破坏分析、非连续性分析等的“复杂工程力学高性能应用软件系统”,突破100亿自由度计算规模,实现国家重大科技专项中复杂工程装备系统的典型力学响应行为分析,实现我国典型大型土木工程和大型水利工程抗重大自然灾害和全生命周期中抗疲劳损伤的力学综合性能评估,获得与实验一致的模拟结果。
包含四项基本关键技术:(1)适应于高性能计算的高置信度物理建模与高精度计算方法;(2)复杂几何结构超大规模非结构网格的高可扩展建模技术;(3)连续-非连续复杂物理过程高精度模拟技术;(4)面向工程力学问题的十亿亿次高效求解技术。
目前,完成了工程力学软件SAPTIS和PANDA的基于JAUMIN框架编程的高性能并行化工作,丰富了求解方法和模型,并且针对三峡水利工程和光机装置等应用完成了初步测试,测试结果显示加速效果明显,计算精度高,为项目最终目标的达成奠定了坚实基础。

关键词：

高性能计算; 编程框架; 数值模拟; E级计算; 工程力学; 水利水电工程; CAE;

作者简介：

张国新(1960—),男,教授级高级工程师,博士,主要研究方向为水工结构、数值模拟方法。
E-mail:zhanggx@iwhr.com;

引用：

张国新，张磊，邱永荣 . 复杂工程力学高性能应用软件系统研制进展［J］. 水利水电技术，2019，50( 8) : 66-76.

ZHANG Guoxin，ZHANG Lei，QIU Yongrong. Development progress of high performance application software system for complex engineering mechanics［J］. Water Ｒesources and Hydropower Engineering，2019，50( 8) : 66-76.

基金项目：

“十三五”国家重点研发计划项目( 2016YFB0201000) ;

国家自然科学基金项目( 51579252)；

数值模拟是继理论和试验之后人类认识世界的第三种方法,是科学研究和工程分析的重要手段。
得益于计算机硬件、计算方法和数值技术的发展,数值模拟已广泛应用于科学研究的方方面面,如生命科学、材料科学、天体物理、航空航天、核能利用等,在很多领域数值模拟和仿真已成为唯一的有效研究手段。
重大工程领域也不例外,比如从勘察设计、施工控制到运行管理的高坝建设和运行全生命期,数值模拟和仿真已经是不可或缺的手段,发挥了重要作用。

但是,数值模拟仍存在诸多不足,影响其作用的发挥,主要体现在如下几个方面:

①模拟能力不足,重大工程一般规模庞大、结构复杂,多种物理场耦合,精细化模拟需要全面考虑这些复杂条件,目前的计算手段难以胜任;

②计算精度不足,由于物理力学模型和数学方法的局限,数值模拟中不得不进行大量的简化,个别直接影响工程安全的指标如坝踵应力的结果往往难尽如人意;

③对有些事关安全评价的工程特性难以模拟,如特高拱坝的极限承载能力和失效模式等;

④模拟效率低,对于大型复杂工程,满足其基本精度要求的有限元计算规模需上百万甚至更大,仿真模拟施工过程需要数千甚至上万时步,动力计算模拟动辄需要上百万计算时步[ 1 ],计算耗费的时间需要以周甚至月计。
正是这些不足,影响了数值模拟作用的发挥。

克服如上不足的最有效手段就是软件的高性能并行化。
近20年我国超级计算机发展迅速,计算能力快速提升,已从每秒万亿次提高到十亿亿次,天河一号、天河二号、神威等超级计算机已连续6次排名世界第一,“十三五”国家重点研发计划部署的超级计算机研发项目将在2020年实现每秒浮点峰值计算次数达到E级(百亿亿次)。
硬件的发展为工程结构超大规模数值模拟提供了条件,也涌现出一批高性能计算软件,如:中国水科院陈厚群院士团队开发的高坝抗震分析并行软件PsDAP,已经实现求解规模数百万自由度、200万时步计算;唐春安教授团队开发的RFPA并行软件可以以数亿自由度规模模拟岩石的破裂;北京应用物理与计算数学研究所开发的工程结构分析系统PANDA已经可以调动数万CPU核心求解数十亿自由度结构的受力问题。
但是目前我国的高性能计算软件在求解功能、求解能力等方面仍与国际先进软件有较大差距,与我国领先世界的超级计算机能力不相符。

2016年科技部发布了“十三五”“高性能计算”重点研发专项,资助支持E级高性能计算机系统、高性能计算应用软件、高性能计算环境等的研制研发。
高性能计算应用软件方向共资助了14个软件系统的研发,涵盖了飞行器、核反应堆、海洋环境、流体机械、材料科学、电磁、燃烧等领域的数值模拟,其中“复杂工程力学高性能应用软件系统研制”项目由来自中国水利水电科学研究院、北京应用物理与计算数学研究所、大连理工大学、中国工程物理研究院总体工程研究所、中国长江三峡集团公司、中国科学院水利部成都山地灾害与环境研究所、清华大学、长江勘测规划设计研究有限责任公司等单位的学者组成的研发团队承担。
本文简要介绍该项目的研究进展。

1.1 研发目标

项目面向E级(每秒百亿亿次,1018 FLOPS)计算,针对目前国内工程力学仿真领域的迫切需求和“卡脖子”技术问题,根据科技部指南要求,研制一套涵盖静动力学分析、模态分析、冲击分析、材料损伤与破坏分析、非连续性分析等的“复杂工程力学高性能应用软件系统”(见图1),突破100亿自由度计算规模,实现国家重大科技专项中复杂工程装备系统的典型力学响应行为分析,实现我国典型大型土木工程和大型水利工程抗重大自然灾害和全生命周期中抗疲劳损伤的力学综合性能评估,获得与实验一致的模拟结果。
实现三峡工程和“神光III”光机装置两类重大应用示范,精细模拟三峡大坝整体工作性态,实现服役安全的高分辨率评估。
精细模拟“神光Ⅲ”光机地脉动随机振动特性,实现打靶稳定性的高分辨率评估。
该软件将填补国内工程力学十亿亿次大规模模拟能力空白,应用示范模型分辨率和计算规模达到世界先进水平。

图1 复杂工程力学高性能应用软件系统构成

1.2 研究内容

为了达到项目目标,总结出4项需要解决的关键技术:

(1)适应于高性能计算的高置信度物理建模与高精度计算方法。

(2)复杂几何结构超大规模非结构网格的高可扩展建模技术。

(3)连续-非连续复杂物理过程高精度模拟技术。

(4)面向工程力学问题的十亿亿次高效求解技术。

针对以上四个关键技术问题,项目主要研究内容如下:

(1)研究复杂工程系统中地震输入模型、材料本构模型、多物理场工程简化耦合模型等的高置信建模和高精度应力算法。
包括,震源破裂-介质传播-工程场地宽频带地震动物理建模,空间不连续面及其动态演化的数学模型,准脆性材料和散粒材料尺寸相关性物理建模,岩石、混凝土、岩土散粒体的细观结构与其宏观物理力学参数的关系,材料的本构模型的尺度效应,基于SBFEM的高应力精度单元算法等。

(2)研究复杂工程系统面向百亿亿级计算的跨尺度(km-m-cm)几何建模的高可扩展算法。
围绕复杂工程系统的连续与非连续几何离散的共性需求和跨尺度(km-m-cm)几何精细建模的可扩展性挑战,研究高可扩展的“组合网格”几何建模技术;研究解法器友好的非协调界面粘结/耦合算法体系;研究适应复杂几何的非结构网格的自适应加密技术;研究复杂地质构造几何描述和水工建筑物几何建模方法,建立复杂地质构造-水工建筑物系统的精细建模方法。

(3)研究涵盖连续与非连续性分析的计算力学算法体系和软件集成。
以有限元方法为基础,凝练裂纹扩展、滑坡、泥石流等非连续性分析的共性需求,基于共性软件平台技术,集成扩展有限元法(XFEM)、数值流形方法(NMM)、光滑粒子动力学法(SPH)、材料物质点法(MPM)、非连续变形分析(DDA)、比例边界有限元法(SBFEM)等流行数值方法,涵盖连续与非连续变形分析类型;以已有自主水利工程仿真分析软件SAPTIS为基础,集成水利工程分析需要功能模块,形成通用性水利工程行业软件;以已有装备制造个性软件PANDA为基础,集成适应组合网格的静、动力学计算功能扩展、流-固-热多物理场耦合功能模块和裂纹分析模块,形成大型复杂装备通用工程力学数值软件。

(4)研究面向十亿亿次计算的高效求解、软件并行化、数据可视化处理技术。
针对工程结构总体矩阵条件性态较坏的普遍性问题,开发“加性Schwarz区域分解”和“代数多重网格”两类预条件算法;区域分解将利用网格层-网格片-网格节点的数据层次结构实现多层次松弛;面向数十万处理器核的高并发度,开发“低规约通信”迭代算法;研制面向复杂结构的“100亿自由度”规模的线性解法器,通过共性平台支持软件系统的大规模并行化和在十亿亿次计算机上的高效运行;针对网格、块体、粒子离散数据类型,开发面向工程力学的海量数据可视分析工具,通过先进的可视化手段,生动展现大规模数值模拟成果。

(5)三峡工程和“神光Ⅲ”光机装置的应用示范。
建立全面反映结构功能构件的三峡工程和“神光Ⅲ”光机建筑-装置应用示范精细有限元模型;进行三峡工程全过程高性能数值仿真与工作性态评估,分析坝踵应力与设计差异的原因;实现“神光Ⅲ”光机装置地脉动随机振动特性精确模拟,对光机的微振动、振动模态、打靶精度影响因素等给出正确评估。

1.3 技术路线

根据研发目标和研发内容,本项目将研究内容分为4类,即算法模型等基础理论研究、结合专业方向功能模块研发、面向超级计算机的高性能算法研究与软件开发、应用示范研究,分别组织相应的团队,进行相对传统又协同协作的模式开发。

项目的关键路线是软件的集成与高性能并行化。
并行软件的开发通常是应用领域专家从计算机研制人员提供的并行编程模型入手, 理解计算机体系结构、设计并行算法、研制并行程序、开展性能优化,既需要有领域的专业知识,又要掌握计算机的专门知识。
这种开发模式对于小规模并行是可行的,但本项目要求能在E级计算机通过十亿亿次量级的高性能数值模拟, 能够调用60万核并达到相应的并行效率,传统的开发方式很难突破“性能墙”和“编程墙”,很难达到预期目标。

另一种是基于“高性能编程框架(High Performance Programming Frameworks)”的开发模式。
高性能编程框架是由高性能计算专家开发的高性能并行工具,它建立在超级计算机提供的通用并行编程模型例如MPI 和OpenMP 等之上,对数据通信、负载平衡、并行I/O、运行优化、数据结构、函数库和流程控制等高性能计算相关工作进行抽象,为应用领域专家屏蔽超级计算机体系结构和显式并行编程的复杂性,使得应用领域专家“并行思考、串行编程”,即只需实现算法的串行计算部分,无需考虑区域分解、通信、资源调配、负载平衡、求解效率等与计算机硬件相关的问题,只需少量的并行改造便可快速将串行程序高性能并行化 。

面向数值模拟的高性能编程框架国外起步较早,欧美、日本等国都已在实际工程有所应用。
我国编程框架起步于本世纪初,典型代表是北京应用物理与计算数学研究所研制的JASMIN、JAUMIN、JCOGIN,以及中科院数学与系统科学研究院研制的PHG。
其中JAUMIN适应于非结构网格方法,可用于有限元、DDA等方法编制的程序的高性能并行。
本项目选择了JAUMIN为编程框架支撑软件。
项目团队以自主研发的水利工程软件SAPTIS和装备制造软件PANDA为基础,完善和扩充模拟功能,开发面向非连续性分析的DisFlow软件,依托并行编程框架JAUMIN进行高性能并行化开发(见图2)。

图2 研发技术路线示意

研发方案中将整个项目划分成13项任务,每项任务制定了详细的内容、目标、考核指标。
项目启动至今已经3年,各项任务都取得一些进展,部分任务已经完成。
限于篇幅介绍3点进展。

2.1 基于比例边界有限元的高精度算法

提高有限元计算精度的途径有两个,一是采用密集的网格,二是采用高精度算法,WOLF等[ 10 ]提出的比例边界有限元(SBFEM)法就是高精度算法的一种代表。
项目组的林皋院士团队与宋崇民合作将SBFEM做了扩充,开发了高精度SBFEM单元。
比例边界有限元的单元可以是任意多边形(平面问题)或任意多面体(空间问题),将单元的几何形心作为比例形心,要求从比例形心到单元内的任意一点“可视”(见图3)。
如图3所示,在单元外边界的顶点上设置节点,边的内部可布置内部点以提高单元精度。

图3 比例边界有限元单元定义

比例边界有限元有若干特点:①单元可为满足形心对所有点可视条件的任意形状;②在单元的边上任意布置内部点,相邻单元只要求点的重合不要求整条边的重合,因此相邻单元的协调性极易满足,可容易实现网格的疏密过渡;③在径向采用解析函数,使得单元的精度明显高于有限元法。

课题组发展了比例边界多边形单元技术,提出了板结构高精度单元,开发了用于模拟应力集中的奇异单元,用扩展后的SBFEM分析了静动力荷载作用下重力坝的受力,解决了坝踵应力集中、缝内含水的大坝裂缝扩展等难题。
图4为一个重力坝算例,用比例边界有限元和普通有限元进行了比较。

图4 对比计算采用的网格(单位:m)

采用比例边界有限元分析时,在坝踵部位布置了一个奇异单元,通过调整该单元边界点数以提高单元精度,计算了16点、32点奇异单元两种工况,单元总数都为33个。
有限元计算则取单元总数为600、4 714、41 232三种网格计算了三种工况。
图5为两种方法工况计算得到的坝踵应力分布,由图5可以看出,比例边界有限元法仅用33个单元即得到了与单元总数为41232的有限元接近的应力分布结果,而计算耗时仅为有限元的百分之一,可见SBFEM法高精度单元优势

图5 两种方法几种网格工况的坝踵应力比较

2.2 百亿级复杂结构的几何建模

混凝土坝除了坝身的孔口、廊道、闸墩等构造给几何建模带来困难外,更大的困难来自于断层、裂隙等地质构造,这些构造往往带有随意性,在空间上将基础切割成任意可能块体,通过人工建立几何模型再进一步剖分网格的方式难度巨大,对这样的问题进行几何建模和网格剖分的工作量往往会占整个数值模拟的80%以上。
几何建模团队提出了基于块体切割的复杂构造建筑物网络剖分方法。
其做法是:

①首先无视断层岩石分区等构造的存在对坝体和基础进行几何建模;

②采用六面体、三棱体、四面体等规则单元对结构进行网格剖分;

③利用断层、节理等构造采用几何算法对初步形成的网格进行切割,断层所经之处设置接触(缝)单元,则完成了带有各种地质构造的大坝与基础的网格粗剖分;

④根据建筑物的构造特点和计算精度要求对网格进行分区加密,直至满足网格分辨率要求。

图6是一个简单的例子,一拱坝模型初剖后的网格如图6(a)所示,单元总数为876 928,节点总数为962 656。
采用图6(b)所示的25条纵横交错的断层面对网格进行切割后的网格如图6(c)所示,加断层后的单元数为1 490 968,节点数1 148 728。
为了检验断层切割后的单元形态及计算效果,采用加断层前后的网格进行了变形和应力计算,计算中将断层完全粘接,结果如图7所示。
由图7可见,断层两侧的位移和应力的连续性能保证,断层的存在并未影响应力分布,说明切割后的网格质量能满足精度要求。

图6 基于构造面切割的复杂构造网格剖分

图7 添加构造前后计算结果比较

对网格进行高度加密,剖分百亿自由度级别的计算模型,单线程的微机将不能胜任。
需要采用高性能并行方式进行网格剖分,需要将计算域划分成众多个子域,把每个子域发送到一个CPU进行剖分计算(见图8),这种情况下保证分区界面处的单元节点的协调变得十分困难。
为此开发了基于Dual Mortar有限元的界面粘接算法,将不协调部位进行“粘接”,保证非协调处的位移协调,该粘接单元还可以张开、滑移,即可模拟该部位的开裂和错动变形。

图8 大型网格的分区并行剖分

对网格进行高度加密,剖分百亿自由度级别的计算模型,单线程的微机将不能胜任。
需要采用高性能并行方式进行网格剖分,需要将计算域划分成众多个子域,把每个子域发送到一个CPU进行剖分计算(见图8),这种情况下保证分区界面处的单元节点的协调变得十分困难。
为此开发了基于Dual Mortar有限元的界面粘接算法,将不协调部位进行“粘接”,保证非协调处的位移协调,该粘接单元还可以张开、滑移,即可模拟该部位的开裂和错动变形。

2.3 基于JAUMIN的并行化

2.3.1 数据与函数重构

SAPTIS最早代码开发始自20世纪80年代,依据的标准是FORTRAN66,其后的几十年随着应用需求和新的算法的不断涌现,不断地扩充功能、改进算法、改进数据存储方式等,成为目前可以模拟九个过程、三场耦合、三个非线性的用于复杂工程模拟的大型软件,由于采用了先进的方程求解方式,单线程计算能力和计算速度还是很高的,但要以此软件为基础依托JAUMIN框架进行大规模高性能并行,需要先对程序进行改造。

JAUMIN框架要求并行前的FORTRAN子程序的参数传递最好通过形参传递。
SAPTIS老版本程序大量的参数是通过“MODULE”方式共享的,这种数据共享方式在并行计算时容易引起数据竞争,导致程序错误中断。
因此需在并行前需要对数据结构和函数进行重构,将所有子程序的参数通过形参传递,并且将逻辑复杂、功能庞大的子程序重构为若干功能单一的子程序。
以单元信息为例,SAPTIS中与单元相关的信息有20多种,如材料号、坝段号、浇筑仓号、构成单元的节点号、单元类型、初始温度、高斯点数、高斯点上的应力、损伤度、渗压值等等,这些属性在程序中用不同的数组定义,每个数组的总行数为单元总数。
这种数据组织方式用于数据传递非常不便,经常出现大量的形参,不利于程序的开发、调试和维护,因此并行前需对数据进行重构,将单元和节点数据重构为图9所示,即构造了一个“单元”结构,包含了4个基本成员,每个成员下又包含若干个子成员。
在函数调用中,只需传递少量的形参即可。

图9 重构后的单元节点数据结构示意

JAUMIN框架要求并行前的FORTRAN子程序的参数传递最好通过形参传递。
SAPTIS老版本程序大量的参数是通过“MODULE”方式共享的,这种数据共享方式在并行计算时容易引起数据竞争,导致程序错误中断。
因此需在并行前需要对数据结构和函数进行重构,将所有子程序的参数通过形参传递,并且将逻辑复杂、功能庞大的子程序重构为若干功能单一的子程序。
以单元信息为例,SAPTIS中与单元相关的信息有20多种,如材料号、坝段号、浇筑仓号、构成单元的节点号、单元类型、初始温度、高斯点数、高斯点上的应力、损伤度、渗压值等等,这些属性在程序中用不同的数组定义,每个数组的总行数为单元总数。
这种数据组织方式用于数据传递非常不便,经常出现大量的形参,不利于程序的开发、调试和维护,因此并行前需对数据进行重构,将单元和节点数据重构为图9所示,即构造了一个“单元”结构,包含了4个基本成员,每个成员下又包含若干个子成员。
在函数调用中,只需传递少量的形参即可。

原有SAPTIS单线程序是顺序调用主要功能子程序,一个子程序中包含众多功能,有的有多重嵌套,这种函数的构成方式很难实现并行,即使能够并行,效率也往往很低。
为此在保留原有的核心算法和计算精度的前提下对函数进行了重构,重构后的函数1 000 多个,计算主要框图如图10所示。

图10 重构后的计算流程和函数构成

2.3.2 并行的实现

JAUMIN框架针对科学计算中的非结构网格应用,通过封装高性能的数据结构、集成成熟的数值算法、屏蔽大规模并行和网格自适应的计算技术,支撑物理建模、数值方法、高性能算法的创新研究,加速研制可有效使用现代高性能计算机的并行自适应计算应用程序。
基于JAUMIN框架,用户无需熟悉并行计算、自适应计算和高性能算法的实现细节,只需根据离散格式、初边值条件和误差评估方法,就可以研制高效率的并行应用程序,求解偏微分方程。
JAUMIN框架包括支撑层、数值共性层、解法器、时间积分算法、面向应用的计算工具箱等组成部分,体系结构如图11所示。

图11 JAUMIN 体系结构(引自JAUMIN手册)

JAUMIN框架面向的每个独立的计算子区域称为网格片(patch),它包括了网格区域分解后分解子区域和分解子区域的相邻单元,即影像区(ghost)。

为了实现在各patch上并行计算,JAUMIN提供若干种类型的构件(见图12)的接口函数,它运行时会自动遍历所有的网格片(patch)执行某些操作。
构件主要有初值构件、数值构件、步长构件、归约构件及内存构件。
构件为用户屏蔽了并行实现细节,将串行的子程序通过构件进行封装就可以得到并行的子程序。
基于JAUMIN构件,串行程序并行化改造工作变得方便快捷,不需要开发人员编写底层的MPI通信代码。
并行改造的基本流程如图13所示。

图12 JAUMIN PATCH含义

图13 并行化改造基本流程

基于JAUMIN框架,SAPTIS的并行化改造工作主要是将串行的计算子程序封装到各类JAUMIN框架内,共编写了56个SAPTIS程序接口和42个JAUMIN构件,基本完成了SAPTIS九个过程模拟功能,温度、渗流、应力多场耦合功能和弹塑性、损伤,缝开闭等非线性功能改造。
SAPTIS并行化后的计算流程如图14所示。

图14 SAPTIS并行计算流程

3 初步应用及考核

基于上述开发方法,项目组完成了工程力学软件SAPTIS和PANDA的基于JAUMIN框架编程的高性能并行化工作,并且针对三峡水利工程和光机装置等完成了初步测试。
表1是PANDA软件各个模块的并发度和计算规模测试。
表2是基于三峡工程的算例进行的测试。
在国防科大E级验证系统上,SAPTIS进行了三峡模型整体全坝段的静力分析测试,全坝段模型网格单元数达到4.9亿,自由度规模达2.6亿;利用24000核,单步计算时间为208s。
相比于3000核的计算时间1 059 s,并行加速比为5.09,并行效率达到63.6%,测试结果见表2和图15。

表1 PANDA并发度和计算规模测试

表2 SAPTIS并行计算测试结果

图15 三峡工程坝址区数值模拟结果

表3是采用PANDA对三峡工程的网格进行计算规模测试,实现了100亿单元、50亿自由度的计算,调用4.8万核,用时40多min。
可见,目前对PANDA和SAPTIS的改造很成功,计算规模基本达到预期,待百亿亿次超算平台建成后,计算规模、可扩展性和效率仍有进一步提升空间。

表3 三峡工程仿真计算网格规模测试

本项目组承担的“十三五”“高性能计算”重点研发专项——“复杂工程力学高性能应用软件系统研制”项目,面向E级(每秒百亿亿次,10 FLOPS)计算,在“适应于高性能计算的高置信度物理建模与高精度计算方法”、“复杂几何结构超大规模非结构网格的高可扩展建模技术”、“连续-非连续复杂物理过程高精度模拟技术”以及“面向工程力学问题的十亿亿次高效求解技术”这几个方面进行了深入研究。

课题组发展了比例边界多边形单元技术,提出了板结构高精度单元,开发了用于模拟应力集中的奇异单元,用扩展后的SBFEM分析了静动力荷载作用下重力坝的受力,解决了坝踵应力集中、缝内含水的大坝裂缝扩展等难题。
研究结果表明比例边界有限元法仅用极少量单元即得到了有限元应力分布结果,而其计算耗时仅为有限元的百分之一,SBFEM法高精度单元具有显著优势。
几何建模团队提出了基于块体切割的复杂构造建筑物网络剖分方法和Dual Mortar有限元的界面粘接算法,基本实现了任意复杂地质构造模型和百亿级自由度网格模型的构建。
项目组对原有代码进行了重构,重写了程序框架和子程序接口,并依托JAUMIN框架,基本完成了SAPTIS九个过程模拟功能,温度、渗流、应力多场耦合功能和弹塑性、损伤,缝开闭等非线性功能改造。

基于上述关键技术,项目组完成了工程力学软件SAPTIS和PANDA的基于JAUMIN框架编程的高性能并行化工作,并且针对三峡水利工程和光机装置等完成了初步测试,改造后的程序加速效果明显,计算规模达到了50亿自由度,并行效率超过30%,这为项目最终目标的达成奠定了基础。

水利水电技术

水利部《水利水电技术》杂志是中国水利水电行业的综合性技术期刊（月刊），为全国中文核心期刊，面向国内外公开发行。
本刊以介绍我国水资源的开发、利用、治理、配置、节约和保护，以及水利水电工程的勘测、设计、施工、运行管理和科学研究等方面的技术经验为主，同时也发布国外的先进技术。
期刊主要栏目有:水文水资源、水工建筑、工程施工、工程基础、水力学、机电技术、泥沙研究、水环境与水生态、运行管理、试验研究、工程地质、金属结构、水利经济、水利规划、防汛抗旱、建设管理、新能源、城市水利、农村水利、水土保持、水库移民、水利现代化、国际水利等。