本文内容来源于《测绘通报》2022年第9期，审图号：GS京（2022）0710号
融合RGB-D深度图像和LiDAR点云的石油管线BIM建模牛鹏涛1,2, 曹毅3, 乔文彬4
1. 成都理工大学地球科学学院，四川 成都 610059;2. 河南工业职业技术学院，河南 南阳 473009;3. 中国石油化工股份有限公司西北油田分公司，新疆 乌鲁木齐 830011;4. 中建七局建筑装饰工程有限公司，河南 郑州 450000
基金项目：国家自然科学基金(41671432；41372340)
关键词：RGB-D；LiDAR点云；石油管线；BIM
引文格式：牛鹏涛, 曹毅, 乔文彬. 融合RGB-D深度图像和LiDAR点云的石油管线BIM建模[J]. 测绘通报，2022(9)：93-97. DOI: 10.13474/j.cnki.11-2246.2022.0270. 摘要 ：建筑信息模型(BIM)已经被广泛用于提高复杂管线系统的管理效率，但已有石油管线的BIM建模，往往依靠设计图纸或现场测绘手工完成，耗时费力。为此本文提出了一种融合RGB-D深度图像和LiDAR点云数据的石油管线BIM重建方法。首先利用RGB-D图像提供的丰富语义信息和LiDAR点云精确几何信息，对深度相机采集的RGB图像进行分割，生成三维语义地图；然后通过点云粗匹配和精确匹配实现数据融合；最后给出了不同结构管线构件的BIM模型制作方法。试验结果表明，与以往的管线BIM重建方法相比，该方法更准确、高效，有助于石油企业对含有复杂管线的计转站等实施信息化管理。
各类管线发挥着人类生产生活所需的信息、物质、能源交换传输的重要作用，对人类活动具有至关重要的反馈支撑效应。以油气管线为例，截至2020年，全国石油(气)管网经估算总长已接近16.9万km[1]。因此随着石油管线数量的迅速增加，管理难度也随之增大。为了强化石油管线的精细化管理，中石化管道储运公司自2014年开始探索研发智能管线管理系统，并于近期开始引入建筑信息模型(building information modeling，BIM)实现石油管线各类构件的全生命周期管理。但由于较多的早期管线设施图纸保存不完整，依靠传统人工测绘方法进行BIM建模工作又过于烦琐。研究创建更可靠、更有效的石油管线BIM模型变得越来越迫切。近年来，LiDAR点云被广泛用于三维场景建模[2]。尽管点云提供了精确的几何信息，但由于数据量庞大，且针对石油管线这类复杂场景的点云语义信息被准确提取的方法较少。文献[2]率先提出了基于RGB-D传感器的室内实时三维重建算法KinectFusion，使得基于深度图像的即时定位与地图重建(simultaneous localization and mapping，SLAM)技术成为研究热点，但该技术对于形状复杂、尺寸各异的管道部件，由于数据精度有限，难以满足建模要求。而融合LiDAR点云和RGB-D数据的方法，利用其优势完成石油管线BIM重建，有助于实现石油管线及各种复杂组件的快速、精准测绘和建模。本文首先在利用RGB-D图像提供的丰富语义信息和LiDAR点云精确几何信息的基础上，对深度相机采集的RGB图像进行分割，生成三维语义地图；然后通过点云粗匹配和精确匹配实现数据融合；最后给出了不同结构管线构件的BIM模型制作方法。1 研究基础1.1 RGB-D图像分割和三维语义地图重建近年来，深度卷积神经网络(deep convolutional neural network，DCNN)模型应用于图像识别、目标检测和语义分割等领域，在测试精度上有显著提高。其中基于编码-解码(如图 1所示)的图像语义分割方法在深度图像领域被广泛应用[3]。三维语义地图具有更丰富的几何和拓扑信息，有利于构建BIM模型。其构建方法主要分为实时和非实时三维重建两种方法。随着RGB-D深度相机和SLAM技术的发展，包含语义信息的SLAM地图在更多场景下得到了越来越多的关注。但考虑基于深度图像的三维语义地图几何精度有限，引入并融合LiDAR点云以提高模型重建的精度[4]。与手工标定点云特征相比，深度学习模型提供的信息更全面。文献[5]提出了开创性的PointNet，利用深度学习模型直接处理点云，但该方法对于细化分割不具有稳健性[6]。为了进一步探索局部点特征，研究人员提出了PointNet++、RandLA-Net、KP-FCNN等模型[7]。目前，文献[8]开发了一种区域生长方法以分割管线场景，应用非均匀有理B样条曲面拟合点云并提取模型参数。文献[9]开发了一个三维检测框架以提取各种管线组件的几何信息用于建模[10]。还有一些基于特征的方法从杂乱的点云中定位管轴，将点云分割出来用于建模[11]。本文尝试以不规则构件和规则管线等具有代表性的管线构件为例，进行多源数据融合的BIM重建。其中，不规则的复杂部件主要以管线阀门为代表；规则构件主要以管道等为代表；其他二次构件则选择尺寸较小的控制箱为代表。研究方法如图 2所示。图 2 融合RGB-D和三维LiDAR点云的BIM模型构建流程图像语义分割是对图像中每一个像素进行分类的过程。本文采用改进的Deeplab V3+网络模型对RGB图像进行语义分割。为了训练深度学习模型，使用标签工具LabelMe对采集的1800张图像进行人工标记。在标注过程中，采用多边形勾勒出所需组件边界，并保存为JSON标签格式。在利用语义分割的深度学习模型中，文献[12]提出改进型DeeplabV3+方法，该方法采用编码-解码架构，并引入扩张卷积扩大滤波器的视场但不增加计算成本。扩张卷积的特点是通过增加模型的感受野，提取更好的特征。为了建立更准确的预测模型，本文使用交叉熵函数为损失函数计算真实标签与预测结果之间的误差。采用标准随机梯度下降(SGD)算法作为权值优化算法，初始学习率设置为0.001，以保证在训练过程中有更好的收敛性。学习速率衰减规律的公式为式中，R表示学习速率；Ri表示当前迭代速率；I表示当前迭代；Imax表示训练过程中的总迭代次数。使用深度相机数据中的立体图像、IMU数据和ElasticFusion算法[13]基于最近点迭代算法(iterative closest point，ICP)配准构建三维语义地图并采用随机蕨法进行全局闭环检测。首先使用ElasticFusion算法[13]分别计算深度图像和RGB图像的几何和光度误差；然后利用高斯-牛顿非线性最小二乘法获得最优相机外参以进行位姿估计，实现三维地图精确融合[14]。其中几何误差EICP计算公式为式中，表示相机位姿基于变化矩阵的世界坐标系位置指数转换；νtκ表示在t时刻这帧深度图像中k顶点在相机坐标系下的反投影；T表示相机当前帧较前一帧的姿态变化估计值; vκ和nκ分别表示在t-1时刻相机坐标系下对应的顶点和法线。光度误差主要计算当前的实时RGB图像和最后一帧的预测模型之间最小化像素光度误差的运动参数，计算公式为式中，ctl为当前的实时RGB图像；为最后一帧的预测模型；为最小化像素光度误差的运动参数；u为RGB图像中的像素位置；K为图像内部参数；I (u，c)为RGB图像像素u所在位置的强度值；p(u，Dtl)为时间t的图像像素u在相机坐标系下的三维坐标。结合式(2)—式(3)通过构造最小二乘法，即优化高斯-牛顿最小二乘法，得到公式为式中，Etrack是通过深度图配准和彩色图配准的联合误差；wrgb表示权重大小，这里设置为0.01。基于贝叶斯更新的方法将RGB图像分割得到的二维语义标签融合、映射至三维地图，进而实现三维语义地图的构建。ElasticFusion方法是基于Surfel模型表示三维地图，对于每个Surfel点，包含中心点坐标p∈R3、Surfel半径r∈R、颜色c∈N3、法向量n∈N、初始化时间戳t0、最后更新时间戳t。对Surfel点添加l向量表示像素语义标签并存储每个点的类别概率。假设三维场景中存在n个Surfel点，且他们之间存在时间对应关系，根据贝叶斯公式计算为式中，xt、x0t分别表示t和t0时刻对某点综合观测；ct表示单个点的类别分布。使用开源软件CloudCompare将LiDAR点云数据与三维语义地图的两个点集融合至同一坐标系下，实现粗略配准。本文主要通过手工实现两个点集中的地面和墙面等大面积构件基本对齐。配准过程如图 3所示。其中，白色点云来自LiDAR，其他点来自三维语义地图。图 3 LiDAR点云数据与相机语义三维地图粗配准由于三维语义地图的几何精度较低，造成两类点集不能完美融合。因此设置三维语义地图中点Pm与LiDAR点云相应的点Pm之间的最大距离阈值ε=0.1 m。首先采用DBSCAN(density-based spatial clustering of applications with noise)算法将具有相同标记的点云分割成不同聚类[14]；然后将三维语义地图中的语义标签匹配至LiDAR点云分割簇中。三维语义地图中的点云与LiDAR点云分割簇之间的关系如图 4所示。图 4 三维语义地图中的点云与LiDAR点云的映射关系由图 4可知，设置阈值ε既可以过滤无关的点，也可以提供额外的缓冲区确保建模对象的完整。获得所需组件在LiDAR点云中的粗略位置后，需要进一步实现阀门、泵等形状复杂部件的精确位置匹配。经过粗略的位置标定后，目标点云易与不相关的点云一起被提取。为了滤除噪声，首先通过均匀采样，将初步绘制的异形构件BIM模型转化为模型点云；其次利用K-NN(K-nearest neighbor)算法遍历模型点云中的点，通过适当的平移和旋转，可以对比查询LiDAR点云中最近的点。重复这一过程逐步形成LiDAR点云数据；然后利用均方根误差(RMSE)计算两个点集之间的距离[15]；最后通过多模态优化法(multimodal optimization，MMO)寻找多个距离最小化最优解以精确确定组件位置。针对具有固定截面但不同长度的常规形状组件，如圆管、矩形管等，可以将标签映射步骤中检索到的LiDAR点云簇沿X、Y和Z轴切片并提取几何信息[16]。由于本文采用RANSAC算法可以从聚类中提取线段[17]，因此只考虑对提取的特定区域进行切片，在不影响计算效率的情况下，将切片厚度设置为较小的值，即可实现降低噪声水平、稳定截面分析结果的效果。在模型构建过程中，提取管线组件和管线的主要构图参数并保存，然后统一导入Dynamo软件，在Revit中自动生成BIM模型。在三维图像截面中可以获取通过阀门连接管道的两端中心点位置和半径等参数，对于不规则形状的构件，其参数则主要为构件在主管道的中心位置及各主要方向的相对方位角。在Dynamo软件中，可以实现圆形管线、矩形管线组件，以及T形和L形连接管等和复杂组件的绘制，如图 5所示。数据采集于西北油田某计换站的室内部分，该站主要负责附近21口油井的原油进站加热、计量、输送工作，室内共有5台外输泵、50个阀门，自建站以来累计接转超过800万t原油。为实现站场管线的数字化、智慧化管理，需要对该场站的石油管线进行精细化BIM建模[18]。利用Trimble x7高速激光扫描仪采集点云数据，采用Intel RealSenseD455深度摄像机采集深度图像。Trimble x7激光雷达测距精度可达2 mm@30 m，点云精度为2.4 mm@10 m，水平和垂直视场角分别为360°和282°，扫描距离达80 m。由于两站之间距离不能超过20 m，因此根据扫描现场实际设置8站扫描站。采用Perspective软件完成多站点云的配准。Intel RealSenseD455相机的深度视场和RGB视场分别为87°×58°、90°×65°[19]，深度相对精度在4 m处可达2%。图像分辨率设置为640×480像素，试验数据采集的帧率设置为30帧/s。利用1800张含有相关石油管线标记的图像进行深度图模型训练，300张图像进行交叉验证，以及200张图像进行模型测试。训练图像的标准尺寸为256×256像素，为减少GPU内存负担，设置批大小为8。采用随机缩放(0.5~2)、水平翻转和高斯模糊等方法丰富训练数据集。该模型在Ubuntu 16.04系统上使用Intel CoreTM i7-10850H处理器(3.4 GHz×8)和GeForce Quadro RTX 5000的GPU进行训练。训练次数为50次[20]。由于先进行了位置粗匹配，相对于直接从LiDAR点云中提取组件的效率有显著提高，通过对比发现，新方法总时间平均缩短35%。为了更好地可视化建模结果，选用Revit重建BIM模型。将BIM模型导出为通用的三维OBJ格式后与原始LiDAR点云一起导入开源软件CloudCompare。泵和阀门等构件的召回率和精确率对比见表 1。模型平均偏差为0.026 m，完全满足设施管理的要求。表 1 融合RGB-D图像和LiDAR点云方法的管线提取精度与直接切片法精度对比本文结合深度相机数据和激光雷达点云数据，提出了一种新的融合方法重建室内管线BIM模型。由于语义三维地图重建时使用了成本较低的RGB-D图像，并采用了更精确的实例级分割，相对于直接使用LiDAR点云数据，本文方法提高了图像的分割效率、召回率和准确率。模型重建的目标体在位置和位姿方面具有较好的精度。在效率方面，由于使用语义三维地图，缩小了搜索范围，程序整体处理时间比直接切片算法减少了约35%。与利用Revit软件进行图片或直接手工点云建模相比，融合BIM重构技术的优势更加明显。该方法可用于石油计换站等或民用建筑水电气暖泵房等管线密集区域的BIM信息模型建设，为建筑及石油运输相关企业提供更科学、直观的管理数据，助力其辅助决策。当然，本文方法也存在一定的局限性，比如融合点云的BIM重建技术对采集数据的质量要求较高，尤其是对深度相机数据，若相机移动太快或室内扫描规划不严谨都会造成语义三维地图不完整，进而影响LiDAR点云的后处理。因此，未来在提高深度相机精度和效率方面仍然需要作进一步研究。作者简介：牛鹏涛(1985—)，男，博士生，讲师，研究方向为摄影测量与遥感。E-mail：npt.npl.water@163.com
