注意力机制

注意力机制 (Attention Mechanism) 是一种让神经网络动态分配计算资源的方法。它为输入序列中的每个元素计算权重分数,使模型能够选择性地关注最相关的信息,而非平等对待所有输入。

自注意力 (Self-Attention) 是 Transformer 架构的核心,通过 Query、Key、Value 三个矩阵计算元素间的相关性。在视觉领域,Vision Transformer (ViT) 将图像分割为 patch 序列,利用自注意力捕获全局依赖关系。

• 自注意力: 计算序列内部元素间的相互关系,复杂度为 O(n²),适合捕获长距离依赖
• 多头注意力: 并行运行多组注意力,每组关注不同的特征子空间,增强表达能力
• 交叉注意力: 在两个不同序列间计算注意力,用于文本引导的图像生成(如 Stable Diffusion 中文本条件控制图像)
• 窗口注意力: 限制注意力范围在局部窗口内,降低计算复杂度(如 Swin Transformer)

在图像处理中,注意力机制使模型能够聚焦于图像的关键区域。例如在图像超分辨率任务中,注意力帮助模型识别纹理丰富的区域并分配更多计算资源进行细节恢复。