1.基于MATLAB的图像像拼接实现
2.图像处理（十一）exposure fusion 图像曝光融合
3.基于MATLAB的图像拼接技术

基于MATLAB的像拼接实现

       基于MATLAB的图像拼接实现

       第一章 绪论

       1.1 图像拼接技术的研究背景及研究意义

       图像拼接技术在照相绘图学、计算机视觉、融合图像处理和计算机图形学领域中占据重要地位。处理它通过对接齐一系列空间重叠的源码图像，生成无缝、图像高清晰的融合obs 源码编译图像，实现比单幅图像更高的处理分辨率和更大视野。早期应用主要在航拍或卫星图像整合，源码近年来，图像结合计算机视觉和图形学，融合图像拼接技术成为IBR（基于图像的处理绘制）的焦点，用于视觉场景描述和现实世界图像在环境贴图中的源码应用，增强合成物体的图像真实感。

       在军事领域，融合图像拼接技术用于夜视成像，处理将度环形图像拼接成全景图像，提供周围环境的实时观察。在微小型履带式移动机器人项目中，拼接双目图像可扩展视野，辅助视觉导航。虚拟现实领域通过拼接技术实现宽视角图像或度全景，构建虚拟环境。医学图像处理中，拼接技术用于大目标数据测量和远程会诊。遥感技术应用图像拼接进行图像比较和失真地面图像的准确拼接，作为进一步研究的基础。

       图像拼接技术的广泛应用表明其前景广阔，深入研究对领域发展具有重要意义。

       1.2 图像拼接算法的分类

       图像拼接研究中，国内外提出多种拼接算法。算法质量主要依赖图像配准程度，分为基于区域相关和基于特征相关两类。基于区域配准方法通过最小二乘法或FFT变换计算灰度值差异，quickadapter源码评估重叠区域相似度，实现图像拼接。基于特征配准利用图像特征进行匹配，具有较高的鲁棒性。

       1.3 本文的主要工作和组织结构

       本文总结图像拼接技术发展、学习研究配准算法、探讨图像融合，使用MATLAB实现算法，并总结问题与展望发展。

       本文组织结构包括概述、图像拼接的基础理论与预处理、图像配准算法、图像融合、MATLAB实现及问题总结。

       1.4 本章小结

       概述图像拼接技术背景、应用与难点，介绍研究内容。

       第二章 图像拼接的基础理论及图像预处理

       2.1 图像拼接概述

       图像拼接包含预处理、配准、融合与边界平滑。预处理校正几何畸变、抑制噪声，为配准做准备。

       2.2 图像获取方式

       图像拼接技术通过旋转或水平摇动镜头收集有重叠的二维图像，适用于远程图像或显微图像。

       2.3 图像预处理

       2.3.1 图像校正

       校正几何畸变，避免失真影响配准效果，通过建立数学模型恢复图像原貌。

       2.3.2 噪声抑制

       采用滤波技术降低噪声，改善图像质量，使用均值或中值滤波方法。

       2.4 本章小结

       总结图像预处理方法，dungreed源码包括校正与噪声抑制。

       第三章 图像配准算法

       3.1 图像配准概念

       配准是通过最佳匹配过程实现图像对齐，以提高分辨率和视野。

       3.2 基于区域的配准

       采用逐一比较、分层比较与相位相关法实现配准，各自有优缺点。

       3.3 基于特征的配准

       利用特征匹配实现配准，如比值匹配法，具有简单、速度快等优势。

       3.4 本章小结

       综述图像配准算法，包括区域与特征相关方法。

       第四章 图像融合

       第四章未具体展开，聚焦图像拼接算法实现与技术挑战。

       第五章 MATLAB实现

       使用MATLAB工具，实现图像拼接算法。

       第六章 结论与展望

       总结图像拼接技术问题，展望未来发展方向与应用。

图像处理（十一）exposure fusion 图像曝光融合

       本意是为了学习HDR，高动态范围成像，但HDR概念对我来说太复杂了，涉及到硬件和软件。我的目标是跳过硬件和tone mapping，只做最简单的多曝光融合，如下列图像

       融合成一张

       搜索曝光融合，出现的是《exposure fusion》这篇文章，像素级别的融合，再加上多尺度的平滑处理，从现在的眼光来看，是非常简单的，OpenCV也实现了这个算法，在lightroom中也有应用。jihaoba源码

       尽管原理简单，但实现上有坑，C++写了好几遍过不了，换成Python也错误，看了官方的matlab源码才知道坑。

       论文提出了三种计算每个像素融合权重的的方法

       对比度

       在过曝图像或严重低曝光的区域，图像都基本是或0，因此这些区域是很平滑的，梯度信息几乎为0，这些也是曝光融合中要舍弃的区域——过曝部分缺乏细节，低曝光区域缺乏细节和亮度。因此，论文提出用laplace算子提取图像的梯度信息，梯度信息越小的像素在融合时占据的比重就越小，相反梯度信息越大的像素的比重就越大。对输入的第[公式]张图像[公式]

       [公式]

       饱和度

       同样针对过曝或严重低曝光，二者的饱和度是接近于0的，而那些饱和度高的区域常常是需要保留的区域，因此论文通过三通道的标准差来衡量饱和度大小，以此得到不同的比重

       [公式]

       亮度

       亮度越接近0或者的，很可能就是处在过曝或严重低曝光区域，而亮度在附近的常常可以认为是曝光良好的区域，这些区域的信息在融合过程中要尽量保留，比重尽量大，如下

       [公式]

       [公式]是方差，论文中取0.2。以上公式是我具体实现时使用的，三通道的比重相乘，为了简单，也可以提取出YCrCb通道，用Y通道算也可以。良好曝光不一定取0.5。总控源码

       上面是人为提出的一些先验知识，接下来验证下是否有效

       可以看出，对于严重低曝光的图像，响应值比较高的就是光源附近的细节，这些细节得以保留，而过曝图像往往在这些地方是没有细节的

       同上，以亮度为例，该图在天空区域的曝光是良好的，而且具有一定的细节，得以保留

       对于这一类局部过曝的图像，背光区域反而得到了较好的曝光，所以图中气球的细节和亮度响应值比较高，得以保留，而天空和光源部分的灰度值偏离、梯度也较小，因此这些过曝的区域的响应值（比重）很小，在融合时被舍弃。

       上面根据对比度、饱和度、曝光三方面可以得到每个像素点在融合时的比重，三者合在一起

       [公式]

       为了防止多张图像融合，出现过高或者过低的值，要对[公式]进行归一化

       [公式]

       多张图像[公式]，各自对应一张归一化的比重图[公式]，融合

       [公式]

       上面的方法非常简单，但会得到十分粗糙的结果。我在具体实现时，得到的结果会出现很多黑色和纯白色的斑点（灰度值为0），而且存在一些光晕，如下：

       经过我追本溯源，发现这是由于多张图像之间的灰度跳变太大导致的——假设现在有图像序列[公式]，在点[公式]处，比重值分别是[公式]，因此在融合时，[公式]点的灰度值主要取决于[公式]；在旁边一个点，[公式]的比重值却是[公式]，融合时就主要取决于[公式]，而从[公式]的灰度值跳变太大，因此最后看起来有很多噪声。相邻点的比重相差会这么大，个人看法是比重由对比度、饱和度、亮度相乘得到，实际上，很多区域都是接近于0，差不多1e-4的值，三个相乘量级就到了1e-，任意一个指标突然变大变小，权重就一边倒了，基本集中在某一张图像上。理想情况是一系列对比度、饱和度、亮度平滑变化的图像，就不会出现这种问题，但实际也不可能拍这么多精细的图像。

       如何解决？一个很直观的想法就是对每张图的权重图做平滑处理，缓解灰度跳变，重新归一化后，再融合，效果如下：

       看得出来，有所改善，但还是不够平滑，存在一定程度的光晕，继续加大力度

       又好一点了，但天空还是很明显

       好像又好一点了！但还是存在一些光晕（后面怎么解决的还不清楚）。

       但是每次都对原始分辨率做这么大的计算吗？

       这又回到了上次总结的拉普拉斯金字塔融合，构造金字塔解决分辨率过大和滤波核过大的问题，这也是论文提出的方法

       使用laplace金字塔，对每张图像分解出laplace金字塔，对应的比重图分解出高斯金字塔，根据比重对laplace金字塔做融合，从低分辨率开始上采样叠加同尺度的融合后laplace细节，即可得到结果，如下：

       效果有点惊艳，不仅融合了多张图像中的细节，还保持了良好的曝光，和之前的对比还是很明显的，如过曝这个区域的细节还是很不错的！但为什么和之前直径的高斯模糊相比，解决了光晕，这一点是我暂时无法理解的。

       算法十分简单，只要按部就班算出每个点的对比度、饱和度、曝光，结合起来，再加一个laplace金字塔分解，问题貌似就解决了。但我在实际写的时候，得到的结果却是这样的：

       饱和度太高了，而且细节也没有得到保留。。。。。。一开始还以为是C++，我索引写错了之类的，重写了几遍都过不了，换成python也是一样的，也是错的，后面还是参考了官方的matlab代码，才发现不同：

       即下面两张图的对比

       当我把上采样的对象改成了官方的形式，就正常了。

       至于为什么会这么差，我想可能是因为一路上采样，丢失的信息太多了，所以采用之前的高斯金字塔的次一级分辨率上采样可以减少信息损失。

       代码见我的github

       Python 3

       鬼影

       本篇讨论的多曝光图像融合，默认都是对齐的，但实际上不同时间拍的图像，会因相机抖动和环境的风吹草动，而导致内容有差别，使得最后的融合结果可能出现鬼影，而鬼影(ghost effect)也是HDR融合要解决的主要问题之一。

       移动

       考虑下面这个例子

       可以看到画面中的三个人物都存在较明显的移动，经过上面的exposure fusion像素级融合，就会得到下面的结果

       这一类情况下，不保证像素级的对齐，就会出现鬼影。

       模糊

       和多曝光融合类似的是多焦点融合，不同图像存在不同的局部模糊

       保留对比度、饱和度，不计算曝光，得到的融合结果如下:

       效果感觉还行，但又不很行 ! 如IMAGE块区域，第一张图有点类似于运动模糊的效果了，在曝光融合这里就近似于"没对齐"，因此融合的结果有一些虚影、鬼影 !

       虽然存在如上问题，但这个方法还是给后续的一些研究提供了思路，融合不断频段的信息做图像融合，不仅仅是曝光融合，多焦点融合等。

       参考资料

基于MATLAB的图像拼接技术

       图像拼接技术在多个领域展现广泛的应用价值，它通过整合空间重叠的图像，提升图像分辨率和视野，为诸如照相绘图学、计算机视觉、军事监控、机器人导航、虚拟现实和医学图像处理等提供关键解决方案。

       早期，图像拼接主要在航拍和卫星图像中使用，如今，它已扩展到结合计算机视觉和计算机图形学，支持可视化场景描述和环境贴图的提升。例如，军事夜视成像技术中，通过图像拼接技术，可以合成度全景图，增强观察效果。微型机器人项目中，双目视觉的图像拼接可扩大机器人的视野，为视觉导航提供便利。在虚拟现实领域，全景图像通过深度信息提取，构建三维模型，让用户有更真实的沉浸感。医学图像处理中，图像拼接有助于远程数据测量和诊断。

       图像拼接通常分为预处理、图像配准和图像融合三个步骤。预处理确保图像质量，配准则精确对齐图像，融合则平滑边界，使拼接无缝。配准算法如逐一比较、分层比较和相位相关，针对不同场景和条件提供精确匹配。图像融合技术如HIS、KL变换和小波变换，通过选择和融合不同图像的信息，生成综合的、高质量的图像。

       在MATLAB中，图像拼接的实现涉及手动配准，如cpselect函数用于选取配准点，以及融合规则的选择，如基于像素、区域或小波变换的融合方法。通过这些技术，可以创建无缝、高清晰度的图像，满足不同应用的需求。