一种事件定位方法、装置及电子设备与流程-凯发k8天生赢家

1.本技术涉及视觉定位技术领域，特别是涉及一种事件定位方法、装置及电子设备。


背景技术：

2.森林、山谷等大场景区域地广人稀，不易定位，当出现意外情况时，如何实现远距离、高精度地监测、定位意外发生所在地，及时解决危机，一直是亟需解决的难点。例如出现火灾等意外危急情况，如何定位着火点位置信息，一直是火情处理的难点。
3.相关技术中提出过的定位方式，大多存在难以实施、定位精度低等问题，例如，通过在瞭望塔架设高点相机，利用视频监测大场景火灾着火点的方案，由于地理环境原因，仍无法精确确定火点所在位置。


技术实现要素：

4.本技术实施例的目的在于提供一种事件定位方法、装置及电子设备，以实现提高了大场景下定位信息的精度。具体技术方案如下：
5.第一方面，本技术实施例提供了一种事件定位方法，包括：
6.对待检测场景区域的第一侧视可见光图像进行预设类型事件的检测，得到事件检测结果；
7.在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的待匹配侧视可见光图像，以及dem侧视图，其中，所述dem侧视图包括所述待检测场景区域中各点的三维位置信息；
8.获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述待匹配侧视可见光图像中对应的第二图像位置；
9.对所述待匹配侧视可见光图像及所述dem侧视图中相同的场景点进行匹配，得到场景点匹配结果；
10.根据所述场景点匹配结果，对所述待匹配侧视可见光图像及所述dem侧视图进行稠密映射，得到稠密映射关系；
11.根据所述dem侧视图中各点的三维位置信息及所述稠密映射关系，确定所述第二图像位置对应的三维位置信息。
12.本技术的一个实施例中，所述在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的待匹配侧视可见光图像，以及dem侧视图，包括：
13.在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的侧视全景可见光图像，以及dem侧视图。
14.本技术的一个实施例中，所述在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的侧视全景可见光图像，以及dem侧视图，包括：
15.在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取多个不同的视角下采集的待检测场景区域的第二侧视可见光图像，其中，相邻的视角存在视场重合；
16.基于各所述第二侧视可见光图像的采集视角，对各所述第二侧视可见光图像进行全景拼接，得到侧视全景可见光图像；
17.获取所述待检测场景区域的dem图像，其中，所述dem图像包括所述待检测场景区域中各点的高程信息及经纬度信息；
18.根据所述dem图像中各点的高程信息和经纬度信息、及采集所述第二侧视可见光图像的可见光相机的高程信息和经纬度信息，生成dem侧视图。
19.本技术的一个实施例中，所述获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置，包括：
20.获取所述第一侧视可见光图像的至少一张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的第二视角信息；其中，所述辅助图像的采集视场包括所述第一图像位置对应的场景区域的视场，且所述辅助图像的放大倍率小于所述第一侧视可见光图像的放大倍率；
21.根据所述第一视角信息及所述第二视角信息，确定所述第一图像位置在所述辅助图像中对应的第三图像位置；
22.根据所述第二视角信息及所述第三图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置。
23.本技术的一个实施例中，所述第一视角信息为第一ptz信息；
24.所述获取所述第一侧视可见光图像的至少一张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的第二视角信息，包括：
25.获取所述第一侧视可见光图像的n张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的ptz信息，其中，n为大于1的整数，所述第一侧视可见光图像与前n-1张辅助图像的p、t信息相同，第n-1张辅助图像与第n张辅助图像的放大倍率相同，第1张辅助图像的放大倍率大于所述第一侧视可见光图像的放大倍率，第i 1张辅助图像的放大倍率大于第i张辅助图像的放大倍率，i∈[1，n-1]，且i为整数；
[0026]
所述根据所述第一视角信息及所述第二视角信息，确定所述第一图像位置在所述辅助图像中对应的第三图像位置，包括：
[0027]
根据所述第一ptz信息及第1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在所述第1张辅助图像中对应的映射位置；
[0028]
根据所述第i张及第i 1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在第i 1张辅助图像中对应的映射位置，其中，所述第三图像位置为所述第一图像位置对应场景区域在第n张辅助图像中对应的映射位置。
[0029]
本技术的一个实施例中，所述第二侧视可见光图像包括所述第一侧视可见光图像；
[0030]
所述获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置，包括：
[0031]
获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，以及所述第一侧视可见光图像的图像坐标系与所述侧视全景可见光图像的图像坐标系的坐标转换关系；
[0032]
按照所述坐标转换关系，将所述第一图像位置转换为所述侧视全景可见光图像中的第二图像位置。
[0033]
本技术的一个实施例中，所述根据所述场景点匹配结果，对所述待匹配侧视可见光图像及所述dem侧视图进行稠密映射，得到稠密映射关系，包括：
[0034]
按照所述场景点将所述待匹配侧视可见光图像划分为多个可见光区域，以及将所述dem侧视图划分为多个dem侧视区域；
[0035]
根据所述场景点匹配结果，计算具有匹配关系的可见光区域与dem侧视区域的映射变换矩阵，得到稠密映射关系。
[0036]
第二方面，本技术实施例提供了一种事件定位装置，包括：
[0037]
事件检测模块，用于对待检测场景区域的第一侧视可见光图像进行预设类型事件的检测，得到事件检测结果；
[0038]
图像获取模块，用于在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的待匹配侧视可见光图像，以及dem侧视图，其中，所述dem侧视图包括所述待检测场景区域中各点的三维位置信息；
[0039]
图像位置确定模块，用于获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述待匹配侧视可见光图像中对应的第二图像位置；
[0040]
场景点匹配模块，用于对所述待匹配侧视可见光图像及所述dem侧视图中相同的场景点进行匹配，得到场景点匹配结果；
[0041]
稠密映射模块，用于根据所述场景点匹配结果，对所述待匹配侧视可见光图像及所述dem侧视图进行稠密映射，得到稠密映射关系；
[0042]
位置信息确定模块，用于根据所述dem侧视图中各点的三维位置信息及所述稠密映射关系，确定所述第二图像位置对应的三维位置信息。
[0043]
本技术的一个实施例中，所述图像获取模块，包括：
[0044]
图像获取子模块，用于在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的侧视全景可见光图像，以及dem侧视图。
[0045]
本技术的一个实施例中，所述图像获取子模块，具体用于：
[0046]
在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取多个不同的视角下采集的待检测场景区域的第二侧视可见光图像，其中，相邻的视角存在视场重合；
[0047]
基于各所述第二侧视可见光图像的采集视角，对各所述第二侧视可见光图像进行全景拼接，得到侧视全景可见光图像；
[0048]
获取所述待检测场景区域的dem图像，其中，所述dem图像包括所述待检测场景区域中各点的高程信息及经纬度信息；
[0049]
根据所述dem图像中各点的高程信息和经纬度信息、及采集所述第二侧视可见光
图像的可见光相机的高程信息和经纬度信息，生成dem侧视图。
[0050]
本技术的一个实施例中，所述图像位置确定模块，包括：
[0051]
信息获取子模块，用于获取所述第一侧视可见光图像的至少一张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的第二视角信息；其中，所述辅助图像的采集视场包括所述第一图像位置对应的场景区域的视场，且所述辅助图像的放大倍率小于所述第一侧视可见光图像的放大倍率；
[0052]
第三图像位置确定子模块，用于根据所述第一视角信息及所述第二视角信息，确定所述第一图像位置在所述辅助图像中对应的第三图像位置；
[0053]
第二图像位置确定子模块，用于根据所述第二视角信息及所述第三图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置。
[0054]
本技术的一个实施例中，所述第一视角信息为第一ptz信息；
[0055]
所述信息获取子模块，具体用于：
[0056]
获取所述第一侧视可见光图像的n张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的ptz信息，其中，n为大于1的整数，所述第一侧视可见光图像与前n-1张辅助图像的p、t信息相同，第n-1张辅助图像与第n张辅助图像的放大倍率相同，第1张辅助图像的放大倍率大于所述第一侧视可见光图像的放大倍率，第i 1张辅助图像的放大倍率大于第i张辅助图像的放大倍率，i∈[1，n-1]，且i为整数；
[0057]
所述第三图像位置确定子模块，具体用于：
[0058]
根据所述第一ptz信息及第1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在所述第1张辅助图像中对应的映射位置；
[0059]
根据所述第i张及第i 1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在第i 1张辅助图像中对应的映射位置，其中，所述第三图像位置为所述第一图像位置对应场景区域在第n张辅助图像中对应的映射位置。
[0060]
本技术的一个实施例中，所述第二侧视可见光图像包括所述第一侧视可见光图像；
[0061]
所述图像位置确定模块，具体用于：
[0062]
获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，以及所述第一侧视可见光图像的图像坐标系与所述侧视全景可见光图像的图像坐标系的坐标转换关系；
[0063]
按照所述坐标转换关系，将所述第一图像位置转换为所述侧视全景可见光图像中的第二图像位置。
[0064]
本技术的一个实施例中，所述稠密映射模块，具体用于：
[0065]
按照所述场景点将所述待匹配侧视可见光图像划分为多个可见光区域，以及将所述dem侧视图划分为多个dem侧视区域；
[0066]
根据所述场景点匹配结果，计算具有匹配关系的可见光区域与dem侧视区域的映射变换矩阵，得到稠密映射关系。
[0067]
第三方面，本技术实施例还提供了一种电子设备，包括：
[0068]
存储器，用于存放计算机程序；
[0069]
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的事件定位方法。
[0070]
第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的事件定位方法。
[0071]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的事件定位方法。
[0072]
本技术实施例有益效果：
[0073]
本技术实施例提供的事件定位方法，由于对待匹配侧视可见光图像及dem侧视图之间各场景点进行稠密映射，所得到各场景点的位置信息，定位精度较高，即便是大场景区域下的远距离，稠密映射下的匹配点满足一定数量，也能够具备较高的定位精度，基于此获取的发生预设类型事件的定位信息，实现了提高大场景下定位信息的精度。除此之外，在事件检测结果表示第一侧视可见光图像中存在预设类型事件的情况下，利用第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定第一图像位置在待匹配侧视可见光图像中对应的第二图像位置，再基于第二图像位置确定对应的三维位置信息，由于这是在线的事件定位过程，能够避免预先进行离线标定可能带来的相机重定位误差、相机外参改变导致的定位误差增加、标定数据失效等意外情况，进一步提高了大场景下定位信息的精度，并且提升方案长期使用的定位精度和可靠性。
[0074]
当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
[0075]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
[0076]
图1-1为本技术实施例提供的一种事件定位方法的流程示意图；
[0077]
图1-2为本技术实施例提供的一种dem图的示例图；
[0078]
图1-3为本技术实施例提供的一种场景点匹配的示例图；
[0079]
图2-1为本技术实施例提供的步骤s102的一种可能实现的方式；
[0080]
图2-2为本技术实施例提供的一种单视角可见光图像的示例图；
[0081]
图2-3为本技术实施例提供的一种全景可见光图像拼接的示例图；
[0082]
图2-4为本技术实施例提供的一种dem侧视图的示例图；
[0083]
图2-5为本技术实施例提供的一种侧视全景可见光图像的示例图；
[0084]
图3为本技术实施例提供的步骤s103的一种可能实现的方式；
[0085]
图4为本技术实施例提供的步骤s103的另一种可能实现的方式；
[0086]
图5-1为本技术实施例提供的步骤s105的一种可能实现的方式；
[0087]
图5-2为本技术实施例提供的一种区域划分的示例图；
[0088]
图5-3为本技术实施例提供的一种侧视全景可见光图像及dem侧视图稠密映射后的对比示例图；
[0089]
图5-4为本技术实施例提供的一种事件定位方法的流程示例图；
[0090]
图6为本技术实施例提供的一种事件定位装置的结构示意图；
[0091]
图7为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0092]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本技术保护的范围。
[0093]
由于相关技术中，难以实现针对大场景下的精确定位，为了解决这个问题，本技术实施例提供了一种事件定位方法、装置及电子设备。
[0094]
下面通过具体实施例进行详细说明。
[0095]
本技术实施例提供的事件定位方法可以应用于任意具备计算功能的电子设备中，例如，服务器、摄像机、硬盘录像机、个人电脑等。
[0096]
第一方面，如图1-1所示，本技术实施例提供了一种事件定位方法的流程示意图，包括：
[0097]
步骤s101，对待检测场景区域的第一侧视可见光图像进行预设类型事件的检测，得到事件检测结果。
[0098]
待检测场景区域为任意需要进行监测的场景区域，例如，森林、山谷、湿地、自然保护区等。预设类型事件为待检测场景区域中需要进行定位的事件，例如，自然灾害事件，如火灾、山崩、山洪等，预设类型事件还可以为人类活动事件，无人区或野生保护区出现人类等。第一侧视可见光图像为用于监测待检测场景区域的图像采集设备所采集到的图像，例如，监控设备的实时录像截图、监控设备间隔固定时长的抓拍图像等。
[0099]
对待检测场景区域的第一侧视可见光图像进行预设类型事件的检测，得到事件检测结果，能够反映待检测场景区域中当前是否存在需要定位的预设类型事件。可见光图像中预设类型事件的检测可以通过深度学习算法实现，本技术中并不对使用的深度学习算法进行具体限定。
[0100]
步骤s102，在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的待匹配侧视可见光图像，以及dem侧视图；
[0101]
其中，所述dem侧视图包括所述待检测场景区域中各点的三维位置信息。
[0102]
待匹配侧视可见光图像为能够清楚展示预设类型事件发生位置的图像，具体的，当待检测场景区域存在单一视角的单张侧视可见光图像能够清楚展示预设类型事件发生位置时，将该单张侧视可见光图像作为待匹配侧视可见光图像。
[0103]
本发明的一个实施例中，当待检测场景区域不存在单一视角的单张侧视可见光图像能够清楚展示预设类型事件发生位置时，获取待检测场景区域的侧视全景可见光图像，将侧视全景可见光图像作为待匹配侧视可见光图像。
[0104]
全景可见光图像可以为待检测场景区域在竖直方向上的360度光学图像，能够通过广角的表现手段，以二维图像的形式，展现场景区域的360度景象。侧视全景可见光图像即为待检测场景区域的全景模式的侧视图像。具体的，待检测场景区域的侧视全景可见光图像可以由任意具备采集全景图像功能的光学成像设备采集得到，也可以由多张非全景可
见光图像拼接得到，此处不作限定。
[0105]
dem图(digital elevation model，数字高程模型)能够反映一定分辨率的局部地形特征，可用于提取大量的地表形态信息，是研究分析地形、流域、地物等识别的重要原始资料，例如图1-2所示，dem图是鸟瞰图像，其中的图像坐标可以通过dem本身存储的转换关系换算成gps(global positioning system，全球定位系统)坐标，坐标对应存储的值则为该点的高程(高度)，以此实现对dem图像中场景在现实三维世界中的精确定位，dem图中包括各点的三维位置信息。同时，dem图也是大场景区域的基础资料信息，可以由任意相关的dem图像采集方式得到。
[0106]
待检测场景区域的dem侧视图是待检测场景区域的dem形式的侧视图像，dem侧视图与侧视全景可见光图像对应的场景区域一致，均为待检测场景区域的360度景象，是待检测场景区域的在竖直方向上的全景图，并且dem侧视图还包括待检测场景区域中各点的位置信息，例如，各点的gps坐标及高程。
[0107]
步骤s103，获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述待匹配侧视可见光图像中对应的第二图像位置；
[0108]
获取第一侧视可见光图像中的发生预设类型事件的图像位置即第一图像位置，并对比第一侧视可见光图像与侧视全景可见光图像，确定第一图像位置在侧视全景可见光图像中对应的第二图像位置。
[0109]
第一侧视可见光图像与侧视全景可见光图像均为待检测场景区域的图像，因此可以根据二者的视角来得到第一侧视可见光图像与侧视全景可见光图像的坐标转换关系。
[0110]
一个例子中，第二图像位置可以在第一侧视可见光图像与侧视全景可见光图像进行特征点匹配之后，基于第一图像位置映射得到。
[0111]
步骤s104，对所述待匹配侧视可见光图像及所述dem侧视图中相同的场景点进行匹配，得到场景点匹配结果。
[0112]
对侧视全景可见光图像及dem侧视图中相同的场景点进行匹配，从而得到侧视全景可见光图像及dem侧视图中各场景点之间一一对应的匹配关系，具体的，可以先根据侧视全景可见光图像中场景区域的明显特征，例如，山脊走势，在dem侧视图中进行初步定位，基于侧视全景可见光图像和dem侧视图中场景区域的连续性，首先确定匹配的区域，然后进行精确匹配，精确匹配可以应用任意常见的基于机器视觉或深度学习的方法、特征点匹配算法等实现，例如sift算法(scale invariant feature transform，尺度不变特征变换匹配算法)、orb算法(oriented fast and rotated brief，特征提取算法与图像描述符)等，在算法标定之后也可以采用人工再次标定。如图1-3所示。此时得到的场景点匹配结果为侧视全景可见光图像与dem侧视图之间的稀疏映射。
[0113]
步骤s105，根据所述场景点匹配结果，对待匹配侧视可见光图像及所述dem侧视图进行稠密映射，得到稠密映射关系。
[0114]
在得到侧视全景可见光图像及dem侧视图之间的场景点匹配结果之后，对侧视全景可见光图像及dem侧视图进行稠密映射，可以应用任意常见的稠密映射算法实现，例如，插值映射算法、dense-sift(稠密sift算法)、knn(k-nearest neighber classification，k近邻分类)算法等。从而得到侧视全景可见光图像及dem侧视图之间各场景点的稠密映射关系。
[0115]
步骤s106，根据dem侧视图中各点的三维位置信息及所述稠密映射关系，确定所述第二图像位置对应的三维位置信息。
[0116]
基于侧视全景可见光图像及dem侧视图之间各场景点的稠密映射关系，将dem侧视图中各点与侧视全景可见光图像中的第二图像位置进行映射，在已知dem侧视图中各点的位置信息的情况下，基于稠密映射关系即可确定第二图像位置在dem侧视图中的位置信息，然后基于dem侧视图即可确定第二图像位置对应的三维位置信息，从而得到发生预设类型事件的位置在真实世界中的三维坐标。
[0117]
本技术实施例提供的事件定位方法，由于对待匹配侧视可见光图像及dem侧视图之间各场景点进行稠密映射，所得到各场景点的位置信息，定位精度较高，即便是大场景区域下的远距离，稠密映射下的匹配点满足一定数量，也能够具备较高的定位精度，基于此获取的发生预设类型事件的定位信息，实现了提高大场景下定位信息的精度。除此之外，在事件检测结果表示第一侧视可见光图像中存在预设类型事件的情况下，利用第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定第一图像位置在待匹配侧视可见光图像中对应的第二图像位置，再基于第二图像位置确定对应的三维位置信息，由于这是在线的事件定位过程，能够避免预先进行离线标定可能带来的相机重定位误差、相机外参改变导致的定位误差增加、标定数据失效等意外情况，进一步提高了大场景下定位信息的精度，并且提升方案长期使用的定位精度和可靠性。
[0118]
本技术的一个实施例中，如图2-1所示，上述步骤s102在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的侧视全景可见光图像，以及dem侧视图，包括：
[0119]
步骤s201，在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取多个不同的视角下采集的待检测场景区域的第二侧视可见光图像；
[0120]
其中，相邻的视角存在视场重合。
[0121]
多个不同视角下采集待检测场景区域的第二侧视可见光图像如图2-2所示，第二侧视可见光图像在相邻视角之间存在一定的视场重合区域。
[0122]
步骤s202，基于各所述第二侧视可见光图像的采集视角，对各所述第二侧视可见光图像进行全景拼接，得到侧视全景可见光图像。
[0123]
基于各第二侧视可见光图像的采集视角，将存在视场重合区域的各第二侧视可见光图像作为相邻图像，进行全景拼接，从而得到侧视全景可见光图像，例如图2-3所示，图中框中区域为图2-2中场景区域。
[0124]
步骤s203，获取所述待检测场景区域的dem图像；
[0125]
其中，所述dem图像包括所述待检测场景区域中各点的高程信息及经纬度信息。
[0126]
步骤s204，根据所述dem图像中各点的高程信息和经纬度信息、及采集所述第二侧视可见光图像的可见光相机的高程信息和经纬度信息，生成dem侧视图。
[0127]
待检测场景区域的dem侧视图由待检测场景区域的的dem图像转换为相机视角下的侧视图而得到，如图2-4所示，为图1-2中场景点的dem侧视图，水平视场覆盖360度，对应坐标值可以存储gps坐标、高程信息、转换后的以相机为原点的笛卡尔坐标系的xyz坐标等。图2-5和图2-3为同一场景区域的dem侧视图(360度视场)和侧视全景可见光图像，侧视全景可见光图像中的场景区域对应dem侧视图的框中区域。
[0128]
具体的，dem图像包括待检测场景区域中各点的高程信息及经纬度信息，上述采集各样本侧视可见光图像的可见光相机自身的位置信息包括高程信息和经纬度信息，基于此以可见光相机为原点，对dem图像中各点进行投影，示例性的，投影可以基于任意投影算法进行。根据各点的高程信息以及经纬度信息补充投影后各点的位置信息，将dem图像转换为dem侧视图。
[0129]
本技术实施例提供的事件定位方法，采用多张不同视角下采集的待检测场景区域的第二侧视可见光图像，拼接得到的侧视全景可见光图像，与由dem图像转换为的dem侧视图进行匹配，相较于多张单视角图像分别与dem侧视图进行匹配，能够匹配点的寻找个数，简化匹配点的寻找难度，提升匹配精准度，同时具有更优化的全局可视化效果。而将dem图像转换为dem侧视图，也能够降低匹配点的获取难度。
[0130]
本技术的一个实施例中，如图3所示，上述步骤s103获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置，包括：
[0131]
步骤s301，获取所述第一侧视可见光图像的至少一张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的第二视角信息；
[0132]
其中，所述辅助图像的采集视场包括所述第一图像位置对应的场景区域的视场，且所述辅助图像的放大倍率小于所述第一侧视可见光图像的放大倍率。
[0133]
第一视角信息为相机采集第一侧视可见光图像时的视角信息，第二视角信息为相机采集辅助图像时的视角信息，第一图像位置对应场景区域即为待检测场景区域中发生预设类型事件的部分场景区域。
[0134]
辅助图像指任何有助于确认第一图像位置对应场景区域对应的侧视全景可见光图像、以及对应的第二图像位置的图像，具有与第一侧视可见光图像相同的视场(视野)，其中同样包括第一图像位置对应场景区域，辅助图像的放大倍率小于第一侧视可见光图像的放大倍率，即辅助图像中相较于第一侧视可见光图像具有更多的场景区域，更易于辨认第一区域。示例性的，可以是由采集第一侧视可见光图像的设备附近的其他设备采集得到的，或由能够监控采集第一侧视可见光图像的设备所在的部分区域的设备采集得到的。
[0135]
一个例子中，辅助图像可以是与第一侧视可见光图像同一视角下不同放大倍率的图像，也可以是与第一侧视可见光图像不同视角下、具有同一视场，且与第一侧视可见光图像所在的侧视全景可见光图像中的某一图像区域的视角一致的图像。
[0136]
步骤s302，根据所述第一视角信息及所述第二视角信息，确定所述第一图像位置在所述辅助图像中对应的第三图像位置；
[0137]
步骤s303，根据所述第二视角信息及所述第三图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置。
[0138]
本技术实施例提供的事件定位方法，基于包括相同视场的第一侧视可见光图像及其对应的辅助图像，根据多个视角信息确定第一图像位置对应场景区域在待检测场景区域的侧视全景可见光图像中的二图像位置，能够更加快速、精确地实现事件位置的确定。
[0139]
本技术的一个实施例中，所述第一视角信息为第一ptz信息；
[0140]
上述步骤301获取所述第一侧视可见光图像的至少一张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的第二视角信息，包括：
[0141]
获取所述第一侧视可见光图像的n张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的ptz信息，其中，n为大于1的整数，所述第一侧视可见光图像与前n-1张辅助图像的p、t信息相同，第n-1张辅助图像与第n张辅助图像的放大倍率相同，第1张辅助图像的放大倍率大于所述第一侧视可见光图像的放大倍率，第i 1张辅助图像的放大倍率大于第i张辅助图像的放大倍率，i∈[1，n-1]，且i为整数。
[0142]
ptz信息分别指的是采集设备的左右/上下移动、镜头变倍、变焦控制信息，即为图像的视角信息。
[0143]
例如，当第一视角信息为p＝0,t＝5,z＝50，确定视角信息为p＝0,t＝0,z＝1的图像与第一侧视可见光图像具有共同视场(共视)，则视角信息为视角1(p＝0,t＝5,z＝25)、视角2(p＝0,t＝5,z＝12)、视角3(p＝0,t＝5,z＝6)、视角4(p＝0,t＝5,z＝3)、视角5(p＝0,t＝5,z＝2)、视角6(p＝0,t＝5,z＝1)、视角7(p＝0,t＝0,z＝1)等图像均可为辅助图像，以上视角均可为第二视角信息。
[0144]
上述步骤s302根据所述第一视角信息及所述第二视角信息，确定所述第一图像位置在所述辅助图像中对应的第三图像位置，包括：
[0145]
步骤一，根据所述第一ptz信息及第1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在所述第1张辅助图像中对应的映射位置；
[0146]
步骤二，根据所述第i张及第i 1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在第i 1张辅助图像中对应的映射位置，其中，所述第三图像位置为所述第一图像位置对应场景区域在第n张辅助图像中对应的映射位置。
[0147]
本技术实施例提供的事件定位方法，基于视角信息规律确定包括相同视场的第一侧视可见光图像及其对应的辅助图像，根据多个视角信息确定第一图像位置对应场景区域在待检测场景区域的侧视全景可见光图像中的第二图像位置，能够更加快速、精确地实现事件位置的确定。
[0148]
本技术的一个实施例中，如图4所示，第二侧视可见光图像包括所述第一侧视可见光图像；
[0149]
上述步骤s103获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置，包括：
[0150]
步骤s401，获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，以及所述第一侧视可见光图像的图像坐标系与所述侧视全景可见光图像的图像坐标系的坐标转换关系；
[0151]
步骤s402，按照所述坐标转换关系，将所述第一图像位置转换为所述侧视全景可见光图像中的第二图像位置。
[0152]
本技术实施例中，第一侧视可见光图像中能够较为清晰地展示发生预设类型事件的场景区域，则第一侧视可见光图像也能够作为用于拼接侧视全景可见光图像的第二侧视可见光图像。在这种情况下，可以直接获取第一侧视可见光图像的图像坐标系与侧视全景可见光图像的图像坐标系之间的坐标转换关系。一个例子中，可以基于第一侧视可见光图像和侧视全景可见光图像的特征点匹配，计算第一侧视可见光图像的图像坐标系与侧视全景可见光图像的图像坐标系之间的旋转矩阵、欧拉角、四元数等，实现两个图像坐标系之间的坐标转换。基于坐标转换关系将第一图像位置转换为侧视全景可见光图像中的第二图像
位置。
[0153]
本技术实施例提供的事件定位方法，在第二侧视可见光图像包括第一侧视可见光图像的情况下，能够基于第一侧视可见光图像的图像坐标系与侧视全景可见光图像的图像坐标系之间的坐标转换关系，直接将第一图像位置转换为侧视全景可见光图像中的第二图像位置，提高了事件定位的效率。
[0154]
本技术的一个实施例中，如图5-1所示，上述步骤s105根据所述场景点匹配结果，对所述待匹配侧视可见光图像及所述dem侧视图进行稠密映射，得到稠密映射关系，包括：
[0155]
步骤s501，按照所述场景点将所述待匹配侧视可见光图像划分为多个可见光区域，以及将所述dem侧视图划分为多个dem侧视区域。
[0156]
如图5-2所示，将待匹配侧视可见光图像划分为多个三角形状的可见光区域，以及将dem侧视图划分为多个三角形状的dem侧视区域，具体的，三角形状仅做示例，还可以基于其他形状进行区域划分，例如矩形、不规则图形等，只要对待匹配侧视可见光图像和dem侧视图进行同样的划分即可。
[0157]
步骤s502，根据所述场景点匹配结果，计算具有匹配关系的可见光区域与dem侧视区域的映射变换矩阵，得到稠密映射关系。
[0158]
根据上文中得到的待匹配侧视可见光图像及dem侧视图之间的场景点匹配结果，该结果可以表示待匹配侧视可见光图像及dem侧视图之间的稀疏映射，基于此计算具有匹配关系的可见光区域与dem侧视区域之间的映射变换矩阵，示例性的，可以是仿射变换、单应变换等。然后根据映射变换矩阵以及dem侧视区域中场景点的坐标，计算各点在可见光区域中的坐标，建立待匹配侧视可见光图像及dem侧视图之间的稠密映射关系，如图5-3所示。
[0159]
本技术实施例提供的事件定位方法，按照划分区域计算见光区域与dem侧视区域的映射变换矩阵，一一建立区域之间的稠密映射关系，从而得到待匹配侧视可见光图像及dem侧视图之间的稠密映射关系更加的完整、精确。
[0160]
本技术的一个实施例中，上述事件定位方法的流程示例可以如图5-4所示，其中预设类型事件为火灾事件，预设类型事件所在的位置为火点，将获取到的火点抓拍图作为第一侧视可见光图像，其中的火点坐标即为第一图像位置，由于不存在能够清楚展示火点位置的单张侧视可见光图像，将火点相邻视角1-n张抓拍图作为第二侧视可见光图像进行全景拼接，并得到侧视全景可见光图像以及其中的火点坐标即第二图像位置，并且将dem图基于相机点位信息进行地形转换为dem侧视图，对侧视全景可见光图像和dem侧视图进行场景点匹配，寻找其中的匹配点对得到匹配点对序列，实现稀疏映射，基于场景点匹配结果进行稠密映射，得到侧视全景可见光图像和dem侧视图的稠密映射关系，根据dem侧视图中各点的三维位置关系及稠密映射关系，确定第二图像位置即火点坐标对应的三维位置信息，实现对火点的定位。
[0161]
参见图6，本技术还提供了一种事件定位装置的结构示意图，包括：
[0162]
事件检测模块601，用于对待检测场景区域的第一侧视可见光图像进行预设类型事件的检测，得到事件检测结果；
[0163]
图像获取模块602，用于在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取所述待检测场景区域的待匹配侧视可见光图像，以及dem侧视图，其中，所述dem侧视图包括所述待检测场景区域中各点的三维位置信息；
[0164]
图像位置确定模块603，用于获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定所述第一图像位置在所述待匹配侧视可见光图像中对应的第二图像位置；
[0165]
场景点匹配模块604，用于对所述待匹配侧视可见光图像及所述dem侧视图中相同的场景点进行匹配，得到场景点匹配结果；
[0166]
稠密映射模块605，用于根据所述场景点匹配结果，对所述待匹配侧视可见光图像及所述dem侧视图进行稠密映射，得到稠密映射关系；
[0167]
位置信息确定模块606，用于根据所述dem侧视图中各点的三维位置信息及所述稠密映射关系，确定所述第二图像位置对应的三维位置信息。
[0168]
本技术实施例提供的事件定位装置，由于对待匹配侧视可见光图像及dem侧视图之间各场景点进行稠密映射，所得到各场景点的位置信息，定位精度较高，即便是大场景区域下的远距离，稠密映射下的匹配点满足一定数量，也能够具备较高的定位精度，基于此获取的发生预设类型事件的定位信息，实现了提高大场景下定位信息的精度。除此之外，在事件检测结果表示第一侧视可见光图像中存在预设类型事件的情况下，利用第一侧视可见光图像中的发生预设类型事件的第一图像位置，确定第一图像位置在待匹配侧视可见光图像中对应的第二图像位置，再基于第二图像位置确定对应的三维位置信息，由于这是在线的事件定位过程，能够避免预先进行离线标定可能带来的相机重定位误差、相机外参改变导致的定位误差增加、标定数据失效等意外情况，进一步提高了大场景下定位信息的精度，并且提升方案长期使用的定位精度和可靠性。
[0169]
本技术的一个实施例中，所述图像获取模块602，具体用于：
[0170]
在所述事件检测结果表示所述第一侧视可见光图像中存在预设类型事件的情况下，获取多个不同的视角下采集的待检测场景区域的第二侧视可见光图像，其中，相邻的视角存在视场重合；
[0171]
基于各所述第二侧视可见光图像的采集视角，对各所述第二侧视可见光图像进行全景拼接，得到侧视全景可见光图像；
[0172]
获取所述待检测场景区域的dem图像，其中，所述dem图像包括所述待检测场景区域中各点的高程信息及经纬度信息；
[0173]
根据所述dem图像中各点的高程信息和经纬度信息、及采集所述第二侧视可见光图像的可见光相机的高程信息和经纬度信息，生成dem侧视图。
[0174]
本技术实施例提供的事件定位装置，采用多张不同视角下采集的待检测场景区域的第二侧视可见光图像，拼接得到的侧视全景可见光图像，与由dem图像转换为的dem侧视图进行匹配，相较于多张单视角图像分别与dem侧视图进行匹配，能够匹配点的寻找个数，简化匹配点的寻找难度，提升匹配精准度，同时具有更优化的全局可视化效果。而将dem图像转换为dem侧视图，也能够降低匹配点的获取难度。
[0175]
本技术的一个实施例中，所述图像位置确定模块603，包括：
[0176]
信息获取子模块，用于获取所述第一侧视可见光图像的至少一张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的第二视角信息；其中，所述辅助图像的采集视场包括所述第一图像位置对应的场景区域的视场，且所述辅助图像的放大倍率小于所述第一侧视可见光图像的放大倍率；
[0177]
第三图像位置确定子模块，用于根据所述第一视角信息及所述第二视角信息，确定所述第一图像位置在所述辅助图像中对应的第三图像位置；
[0178]
第二图像位置确定子模块，用于根据所述第二视角信息及所述第三图像位置，确定所述第一图像位置在所述侧视全景可见光图像中对应的第二图像位置。
[0179]
本技术实施例提供的事件定位装置，基于包括相同视场的第一侧视可见光图像及其对应的辅助图像，根据多个视角信息确定第一图像位置对应场景区域在待检测场景区域的侧视全景可见光图像中的二图像位置，能够更加快速、精确地实现事件位置的确定。
[0180]
本技术的一个实施例中，所述第一视角信息为第一ptz信息；
[0181]
所述信息获取子模块，具体用于：
[0182]
获取所述第一侧视可见光图像的n张辅助图像、所述第一侧视可见光图像的第一视角信息，以及获取所述辅助图像的ptz信息，其中，n为大于1的整数，所述第一侧视可见光图像与前n-1张辅助图像的p、t信息相同，第n-1张辅助图像与第n张辅助图像的放大倍率相同，第1张辅助图像的放大倍率大于所述第一侧视可见光图像的放大倍率，第i 1张辅助图像的放大倍率大于第i张辅助图像的放大倍率，i∈[1，n-1]，且i为整数；
[0183]
所述第三图像位置确定子模块，具体用于：
[0184]
根据所述第一ptz信息及第1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在所述第1张辅助图像中对应的映射位置；
[0185]
根据所述第i张及第i 1张辅助图像的ptz信息，确定所述第一图像位置对应场景区域在第i 1张辅助图像中对应的映射位置，其中，所述第三图像位置为所述第一图像位置对应场景区域在第n张辅助图像中对应的映射位置。
[0186]
本技术实施例提供的事件定位装置，基于视角信息规律确定包括相同视场的第一侧视可见光图像及其对应的辅助图像，根据多个视角信息确定第一图像位置对应场景区域在待检测场景区域的侧视全景可见光图像中的第二图像位置，能够更加快速、精确地实现事件位置的确定。
[0187]
本技术的一个实施例中，所述第二侧视可见光图像包括所述第一侧视可见光图像；
[0188]
所述图像位置确定模块603，具体用于：
[0189]
获取所述第一侧视可见光图像中的发生预设类型事件的第一图像位置，以及所述第一侧视可见光图像的图像坐标系与所述侧视全景可见光图像的图像坐标系的坐标转换关系；
[0190]
按照所述坐标转换关系，将所述第一图像位置转换为所述侧视全景可见光图像中的第二图像位置。
[0191]
本技术实施例提供的事件定位装置，在第二侧视可见光图像包括第一侧视可见光图像的情况下，能够基于第一侧视可见光图像的图像坐标系与侧视全景可见光图像的图像坐标系之间的坐标转换关系，直接将第一图像位置转换为侧视全景可见光图像中的第二图像位置，提高了事件定位的效率。
[0192]
本技术的一个实施例中，所述稠密映射模块605，具体用于：
[0193]
按照所述场景点将所述待匹配侧视可见光图像划分为多个可见光区域，以及将所述dem侧视图划分为多个dem侧视区域；
[0194]
根据所述场景点匹配结果，计算具有匹配关系的可见光区域与dem侧视区域的映射变换矩阵，得到稠密映射关系。
[0195]
本技术实施例提供的事件定位装置，按照划分区域计算见光区域与dem侧视区域的映射变换矩阵，一一建立区域之间的稠密映射关系，从而得到待匹配侧视可见光图像及dem侧视图之间的稠密映射关系更加的完整、精确。
[0196]
本技术实施例还提供了一种电子设备，如图7所示，包括:
[0197]
存储器701，用于存放计算机程序；
[0198]
处理器702，用于执行存储器701上所存放的程序时，实现上述任一所述的事件定位方法。
[0199]
并且上述电子设备还可以包括通信总线和/或通信接口，处理器702、通信接口、存储器701通过通信总线完成相互间的通信。
[0200]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0201]
通信接口用于上述电子设备与其他设备之间的通信。
[0202]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0203]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0204]
在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一事件定位方法的步骤。
[0205]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一事件定位方法。
[0206]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以
是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者固态硬盘(solid state disk，ssd)等。
[0207]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0208]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0209]
以上所述仅为本技术的较佳实施例，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。