[论文阅读笔记]Learning Memory-guided Normality for Anomaly Detection-程序员宅基地

论文发表年限：CVPR，2020
作者：Hyunjong Park、Jongyoun Noh、Bumsub Ham
论文下载地址：Learning Memory-guided Normality for Anomaly Detection
github地址：https://github.com/cvlab-yonsei/MNAD
摘要：异常检测、无监督

Motivation

现有的方法没有考虑到正常行为（normal）的多样性。同时强大的CNN网络能够重构异常行为（abnormal），导致不能检测出异常行为。

Contribution

引入一个存储模块（memory module）来记录正常数据的模式。
提出了Feature compactness loss和Feature separateness loss两个损失函数来确定内存项的多样性和判别能力。
模型的效果在相关数据集上达到了很好的效果。

模型介绍（MNAD）

该模型的结构如下所示：
在这里插入图片描述从图中可以看出，该模型由Encoder、Decoder和一个Memory Module构成。

关于Encoder和Decoder模块，文中选择U-Net模型，并在其基础上进行修改，具体修改参考原文。Encoder模块输入为视频帧，输出为H x W x C的query map，其中包含H x W个query，每个query的大小为1 x 1 x C。

关于Memory module模块，该模块包含M个项（item），用来记录正常数据的原型模式（prototypical patterns），这M个项可以理解为概括正常行为的特征（个人理解）。该模块通过read和update来更新这些M个项。其read和update模块的结构如下图所示。
在这里插入图片描述在Read阶段，将每个query和M个item计算其余弦相似度，得到一个M x K大小的二维相关图，然后在垂直方向上应用softmax函数，通过以下公式获得匹配概率 $w_{t}^{k,m}$ 。
通过计算匹配概率 $w_{t}^{k,m}$ 和M个item项来获取特征p_{t}^{k}，如下。
在这里插入图片描述在update阶段，主要是更新memory中的M个item。对于每个query选择匹配概率最大一个项进行更新。与read阶段相似，通过相关操作计算出 $v_{t}^{k,m}$ ，并通过公式5出 $v_{t}^{'k,m}$ 。最后由公式7计算出权重 $W_{ij}$ ，并更新 $p_{m}$ 。
在这里插入图片描述文中说，在训练和测试阶段都可以更新memory item，但是会使用加权分数来预防异常帧去更新item。

关于training loss，由Reconstruction loss、Feature compactness loss以及Feature separateness loss构成。其公式如下所示。

在这里插入图片描述

其中，Reconstruction loss为计算解码器重构的视频帧与实例之间的损失。Feature compactness loss是为了鼓励查询memory中最相似的item，从而减少相同正常行为类的差异。Feature separateness loss是为了将相似的query分配到相同的item中，以减少item的数量和大小而设计的损失函数。

关于异常分数（Abnormality score），被定义为如下：
在这里插入图片描述公式中的P、g、D函数公式参考原文。

效果

在Ped2、CUHK以及ShanghaiTech数据集上的效果如下：
在这里插入图片描述消融实验结果如下：

该文为博主自己的思考与理解，如有错误还请指出。

本文链接：https://blog.csdn.net/qq_36528734/article/details/108780787

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

EasyDarwin开源流媒体云平台之EasyRMS录播服务器功能设计_开源录播系统-程序员宅基地

文章浏览阅读3.6k次。需求背景EasyDarwin开发团队维护EasyDarwin开源流媒体服务器也已经很多年了，之前也陆陆续续尝试过很多种服务端录像的方案，有：在EasyDarwin中直接解析收到的RTP包，重新组包录像；也有：在EasyDarwin中新增一个RecordModule，再以RTSPClient的方式请求127.0.0.1自己的直播流录像，但这些始终都没有成气候；我们的想法是能够让整套EasyDarwin_开源录播系统

oracle Plsql 执行update或者delete时卡死问题解决办法_oracle delete update 锁表问题-程序员宅基地

文章浏览阅读1.1w次。今天碰到一个执行语句等了半天没有执行：delete table XXX where ......,但是在select 的时候没问题。后来发现是在执行select * from XXX for update 的时候没有commit，oracle将该记录锁住了。可以通过以下办法解决：先查询锁定记录 Sql代码 SELECT s.sid, s.seri_oracle delete update 锁表问题

Xcode Undefined symbols 错误_xcode undefined symbols:-程序员宅基地

文章浏览阅读3.4k次。报错信息error:Undefined symbol: typeinfo for sdk::IConfigUndefined symbol: vtable for sdk::IConfig具体信息：Undefined symbols for architecture x86_64: "typeinfo for sdk::IConfig", referenced from: typeinfo for sdk::ConfigImpl in sdk.a(config_impl.o) _xcode undefined symbols:

项目05(Mysql升级07Mysql5.7.32升级到Mysql8.0.22)_mysql8.0.26 升级32-程序员宅基地

文章浏览阅读249次。背景《承接上文,项目05(Mysql升级06Mysql5.6.51升级到Mysql5.7.32)》,写在前面需要(考虑)检查和测试的层面很多，不限于以下内容。参考文档https://dev.mysql.com/doc/refman/8.0/en/upgrade-prerequisites.htmllink推荐阅读以上链接，因为对应以下问题，有详细的建议。官方文档：不得存在以下问题：0.不得有使用过时数据类型或功能的表。不支持就地升级到MySQL 8.0，如果表包含在预5.6.4格_mysql8.0.26 升级32

高通编译8155源码环境搭建_高通8155 qnx 源码-程序员宅基地

文章浏览阅读3.7k次。一.安装基本环境工具：1.安装git工具sudo apt install wget g++ git2.检查并安装java等环境工具2.1、执行下面安装命令#!/bin/bashsudoapt-get-yinstall--upgraderarunrarsudoapt-get-yinstall--upgradepython-pippython3-pip#aliyunsudoapt-get-yinstall--upgradeopenjdk..._高通8155 qnx 源码

firebase 与谷歌_Firebase的好与不好-程序员宅基地

文章浏览阅读461次。firebase 与谷歌大多数开发人员都听说过Google的Firebase产品。这就是Google所说的“ 移动平台，可帮助您快速开发高质量的应用程序并发展业务。 ”。它基本上是大多数开发人员在构建应用程序时所需的一组工具。在本文中，我将介绍这些工具，并指出您选择使用Firebase时需要了解的所有内容。在开始之前，我需要说的是，我不会详细介绍Firebase提供的所有工具。我..._firsebase 与 google