SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness-程序员宅基地

技术标签： 机器学习  计算机视觉  人工智能  

SuperFusion

SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness

具有语义感知的多功能图像配准与融合网络

背景：

现有的融合仅适用于配准后的图像，输入图像发生微小偏移或形变时，融合结果会出现伪影，忽略深层语义特征。提出将配准和融合放进同一个框架
融合网络框架

贡献、总结

  1. 图像配准、图像融合和高层语义需求统一建模到一个框架中，这是第一个充分考虑图像配准的图像融合方法；

  2. 对称双向图像配准，有效地进行多模态图像对齐，对称性使融合和配准相互促进进行；

  3. 引入语义分割的约束，促使融合网络响应高层视觉任务的需求，嵌入全局空间注意力，实现自适应特征融合；

  4. 总结：三个部分组成，图像配准、融合、分割。
    首先，设计配准网络估计双向形变场，以便使用光度和端点损失来提高精度。联合配准融合方案，平衡对输入模态的偏差，在融合域中通过相似性约束进一步促进配准。Lovasz-Softmax损失，促进融合网络生成结果更合理；

实验

数据集，MSRS、RoadScene与DASC、RIFT、GLU-Net、UMF-CMGR、Cross RAFT进行配准对比。
合成未配准影像
1.对红外图像合成随机仿射、弹性变换
2.对可见光图像合成随机仿射、弹性变换 合成未配准的影像
对于图像融合：MI，VIF，SSIM，FMI,Qabf，（评价指标）
分割实验，采用SeAFusion的分割模型 对多种方法得到的融合图像进行分割

配准可视化

紫色纹理为配准后红外图像的梯度，背景为对应的地面真实
配准可视化

融合可视化

融合可视化

方法：

  1. Dense Matcher用于估计形变场
  2. Fusion Network用于将配准后的图像和另一副图像融合
  3. Segmentation Network用于分割融合后的图像
  4. 进行双向配准，双向配准融合后的影像应该是一致的。Consistency Constraint双向优化配准和融合
    Iir’是合成的红外影像
    Ivi’是合成的可见光影像
    整体框架

Dense Matcher结构

输入是待配准的成对影像,第一层是共享的CNN，2、3、4层是不共享的CNN，多尺度的特征图可以学到不同大小的形变。Flow Esimator是粗略的光流估计器
DenseMatcher

融合网络

采用双编码器提取特征，使用全局注意力机制，让特征自适应融合。
GSAM是个全局注意力机制，用四方向的RNN得到上下文特征
Fusion Network

分割网络

分割网络是这篇论文作者的另一篇论文SeAFusion的分割部分

损失函数

  1. 配准损失
    请添加图片描述
    L1损失函数，光度损失，配准后Ireg应该与原始I一致
    在这里插入图片描述
    端点损失，L2损失可以放大两者之间的差异，应用于两者之间的差异很小的情况
    在这里插入图片描述
    一致性损失，红外配准到光学的f1，应该和光学配准到红外的f2一致
    在这里插入图片描述
  2. 融合损失
    在这里插入图片描述
    结构损失，指导融合网络保留结构信息
    在这里插入图片描述
    纹理损失，融合图像的梯度与源图像最大梯度聚合之间的误差，倒三角是Sobel gradient operator
    在这里插入图片描述
    融合强度信息，保留显著特征。设计了一个强度最大化损失LInt来指导融合网络自适应地融合源图像的强度信息（看着比较显著的信息）
    在这里插入图片描述
    融合损失=纹理+结构+强度
  3. 分割损失
    在这里插入图片描述
    IoU损失的差分替代Lovasz - Softmax损失
    在这里插入图片描述
    分割损失，seg1和GT，seg2和GT
  4. 总损失
    在这里插入图片描述
    总损失=配准+融合+分割，共同优化

Thinking

双向配准以及一致性损失的利用，对配准和融合都有很好的效果。如果融合的目的是用于分割，增加用于分割的语义约束，可以生成更有利于分割的融合效果

L1损失函数和L2损失函数的用处：
任务中预测值与真实值差异不大的时候用L2来放大差异
由于L1 梯度在极值点会发生跃变，并且很小的差异也会带来很大的梯度，不利于学习，在使用L1时通常会设定学习率衰减策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42489272/article/details/134123515

智能推荐

hive使用适用场景_大数据入门：Hive应用场景-程序员宅基地

文章浏览阅读5.8k次。在大数据的发展当中，大数据技术生态的组件，也在不断地拓展开来，而其中的Hive组件，作为Hadoop的数据仓库工具，可以实现对Hadoop集群当中的大规模数据进行相应的数据处理。今天我们的大数据入门分享，就主要来讲讲，Hive应用场景。关于Hive，首先需要明确的一点就是，Hive并非数据库，Hive所提供的数据存储、查询和分析功能，本质上来说，并非传统数据库所提供的存储、查询、分析功能。Hive..._hive应用场景

zblog采集-织梦全自动采集插件-织梦免费采集插件_zblog 网页采集插件-程序员宅基地

文章浏览阅读496次。Zblog是由Zblog开发团队开发的一款小巧而强大的基于Asp和PHP平台的开源程序，但是插件市场上的Zblog采集插件，没有一款能打的，要么就是没有SEO文章内容处理，要么就是功能单一。很少有适合SEO站长的Zblog采集。人们都知道Zblog采集接口都是对Zblog采集不熟悉的人做的，很多人采取模拟登陆的方法进行发布文章，也有很多人直接操作数据库发布文章，然而这些都或多或少的产生各种问题，发布速度慢、文章内容未经严格过滤，导致安全性问题、不能发Tag、不能自动创建分类等。但是使用Zblog采._zblog 网页采集插件

Flink学习四：提交Flink运行job_flink定时运行job-程序员宅基地

文章浏览阅读2.4k次，点赞2次，收藏2次。restUI页面提交1.1 添加上传jar包1.2 提交任务job1.3 查看提交的任务2. 命令行提交./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar3. 命令行查看正在运行的job./flink-1.9.3/bin/flink list4. 命令行查看所有job./flink-1.9.3/bin/flink list --all._flink定时运行job

STM32-LED闪烁项目总结_嵌入式stm32闪烁led实验总结-程序员宅基地

文章浏览阅读1k次，点赞2次，收藏6次。这个项目是基于STM32的LED闪烁项目，主要目的是让学习者熟悉STM32的基本操作和编程方法。在这个项目中，我们将使用STM32作为控制器，通过对GPIO口的控制实现LED灯的闪烁。这个STM32 LED闪烁的项目是一个非常简单的入门项目，但它可以帮助学习者熟悉STM32的编程方法和GPIO口的使用。在这个项目中，我们通过对GPIO口的控制实现了LED灯的闪烁。LED闪烁是STM32入门课程的基础操作之一，它旨在教学生如何使用STM32开发板控制LED灯的闪烁。_嵌入式stm32闪烁led实验总结

Debezium安装部署和将服务托管到systemctl-程序员宅基地

文章浏览阅读63次。本文介绍了安装和部署Debezium的详细步骤，并演示了如何将Debezium服务托管到systemctl以进行方便的管理。本文将详细介绍如何安装和部署Debezium，并将其服务托管到systemctl。解压缩后，将得到一个名为"debezium"的目录，其中包含Debezium的二进制文件和其他必要的资源。注意替换"ExecStart"中的"/path/to/debezium"为实际的Debezium目录路径。接下来，需要下载Debezium的压缩包，并将其解压到所需的目录。

Android 控制屏幕唤醒常亮或熄灭_android实现拿起手机亮屏-程序员宅基地

文章浏览阅读4.4k次。需求：在诗词曲文项目中，诗词整篇朗读的时候，文章没有读完会因为屏幕熄灭停止朗读。要求：在文章没有朗读完毕之前屏幕常亮，读完以后屏幕常亮关闭；1.权限配置：设置电源管理的权限。

随便推点

目标检测简介-程序员宅基地

文章浏览阅读2.3k次。目标检测简介、评估标准、经典算法_目标检测

记SQL server安装后无法连接127.0.0.1解决方法_sqlserver 127 0 01 无法连接-程序员宅基地

文章浏览阅读6.3k次，点赞4次，收藏9次。实训时需要安装SQL server2008 R所以我上网上找了一个.exe 的安装包链接：https://pan.baidu.com/s/1_FkhB8XJy3Js_rFADhdtmA提取码：ztki注：解压后1.04G安装时Microsoft需下载.NET，更新安装后会自动安装如下：点击第一个傻瓜式安装，唯一注意的是在修改路径的时候如下不可修改：到安装实例的时候就可以修改啦数据..._sqlserver 127 0 01 无法连接

js 获取对象的所有key值，用来遍历_js 遍历对象的key-程序员宅基地

文章浏览阅读7.4k次。1. Object.keys(item); 获取到了key之后就可以遍历的时候直接使用这个进行遍历所有的key跟valuevar infoItem={ name:'xiaowu', age:'18',}//的出来的keys就是[name,age]var keys=Object.keys(infoItem);2. 通常用于以下实力中 <div *ngFor="let item of keys"> <div>{{item}}.._js 遍历对象的key

粒子群算法（PSO）求解路径规划_粒子群算法路径规划-程序员宅基地

文章浏览阅读2.2w次，点赞51次，收藏310次。粒子群算法求解路径规划路径规划问题描述    给定环境信息，如果该环境内有障碍物，寻求起始点到目标点的最短路径， 并且路径不能与障碍物相交，如图 1.1.1 所示。1.2 粒子群算法求解1.2.1 求解思路    粒子群优化算法（PSO），粒子群中的每一个粒子都代表一个问题的可能解， 通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性。    在路径规划中，我们将每一条路径规划为一个粒子，每个粒子群群有 n 个粒 子，即有 n 条路径，同时，每个粒子又有 m 个染色体，即中间过渡点的_粒子群算法路径规划

量化评价：稳健的业绩评价指标_rar 海龟-程序员宅基地

文章浏览阅读353次。所谓稳健的评估指标，是指在评估的过程中数据的轻微变化并不会显著的影响一个统计指标。而不稳健的评估指标则相反，在对交易系统进行回测时，参数值的轻微变化会带来不稳健指标的大幅变化。对于不稳健的评估指标，任何对数据有影响的因素都会对测试结果产生过大的影响，这很容易导致数据过拟合。_rar 海龟

IAP在ARM Cortex-M3微控制器实现原理_value line devices connectivity line devices-程序员宅基地

文章浏览阅读607次，点赞2次，收藏7次。–基于STM32F103ZET6的UART通讯实现一、什么是IAP，为什么要IAPIAP即为In Application Programming(在应用中编程)，一般情况下，以STM32F10x系列芯片为主控制器的设备在出厂时就已经使用J-Link仿真器将应用代码烧录了，如果在设备使用过程中需要进行应用代码的更换、升级等操作的话，则可能需要将设备返回原厂并拆解出来再使用J-Link重新烧录代码，这就增加了很多不必要的麻烦。站在用户的角度来说，就是能让用户自己来更换设备里边的代码程序而厂家这边只需要提供给_value line devices connectivity line devices

推荐文章

热门文章

相关标签