近期，中国科学院合肥物质院智能所谢成军与张洁团队基于控制条件相关性分析，设计了面向扩散变换器的可控图像生成方案，相关研究成果以RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers为题被AI领域CCF-A类会议Proceedings of the AAAI Conference on Artificial Intelligence(AAAI26)接收。
扩散变换器（Diffusion Transformer）近年来在文本生成图像、文本生成视频等任务中发挥着核心作用，其优越的可扩展性显著推动了生成模型的发展。然而，现有可控扩散变换器方法往往依赖笨重的控制分支，引入大量参数与计算开销，同时普遍忽视了不同Transformer层对控制信息敏感度存在的差异，导致资源分配低效、算力利用不足等问题。
针对上述挑战，研究团队提出了相关性引导的高效可控生成框架 RelaCtrl，在不牺牲生成质量的前提下，以更加精炼、智能的方式将控制信号融入扩散变换器。该框架首先定义并计算“ControlNet相关性得分”，通过在推理阶段逐层跳过控制分支，系统评估各层控制对最终图像质量和控制精度的影响。基于这一度量，RelaCtrl 可自适应调整控制层的插入位置、参数规模与建模能力，有效削减冗余参数与重复计算，在控制能力与资源利用之间实现动态平衡。在结构设计上，团队进一步以精心设计的二维随机混合模块（TDSM）替代传统复制模块中的自注意力机制和前馈网络（FFN），构建高效的词元混合器与通道混合器，在保持表达能力的同时大幅压缩计算成本。实验结果表明，与典型 ControlNet 方法相比，RelaCtrl 仅以约 15% 的参数量和计算复杂度即可获得更优的生成表现，在多项定性与定量指标上均展现出显著优势。
硕士研究生曹可为论文第一作者，张洁副研究员为论文通讯作者。该工作在显著降低参数量与计算成本的同时保持生成质量，为AIGC领域提供了更高效、轻量化的可控生成解决方案。
论文链接：https://arxiv.org/abs/2502.14377
图 1 可控图像生成方案架构图
图 2 相关性曲线的实验结果
表1 模型在不同控制条件下的实验结果
图 3 不同可控生成方法的定性比较结果
