我们提出了一种用于放射学图像中异常填充和检测的简单空间感知记忆矩阵 (SimSID)，在训练期间，SimSID 能够将内在解剖结构分类为重复的视觉模式，在推理期间，它能够从测试图像中识别异常。在三个基准数据集上，我们的 SimSID 超过了无监督异常检测的最新技术，AUC 得分分别提高了 8.0%、5.0% 和 9.9%。