⏶7
TC-LoRA：用于自适应扩散控制的按时间调制的条件 LoRA
发表
由 
Min-Hung Chen 提交
Min-Hung Chen 提交作者: Minkyoung Cho, Ruben Ohana, Christian Jacobsen, Adityan Jothi, Min-Hung Chen, Z. Morley Mao, Ethem Can
Min-Hung Chen, Z. Morley Mao, Ethem Can摘要
AI 生成总结
TC-LoRA 通过超网络动态条件化模型权重，增强了生成保真度和对空间条件的遵循，从而在扩散模型中改进了基于静态激活的方法。当前的控制性扩散模型通常依赖于固定的架构，通过修改中间激活来注入基于新模态的条件引导。这种方法使用静态条件策略来处理动态、多阶段的去噪过程，这限制了模型在生成从粗糙结构到精细细节的过程中适应其响应的能力。我们引入TC-LoRA（Temporally Modulated Conditional LoRA），一种新的范式，通过直接条件化模型的权重来实现动态、上下文感知的控制。我们的框架使用一个超网络来实时生成LoRA适配器，根据时间和用户的条件，为冻结的主干网络在每个扩散步骤量身定制权重修改。这种机制使模型能够学习并执行一种显式的、自适应的策略，在整个生成过程中应用条件引导。通过在各种数据域上的实验，我们证明这种动态、参数化控制比静态的、基于激活的方法显著提高了生成保真度和对空间条件的遵守程度。TC-LoRA建立了一种替代方法，在这种方法中，模型的条件策略通过对其权重的更深层次的功能适应来修改，从而使控制能够与任务和生成阶段的动态需求保持一致。
我们介绍了 TC-LoRA（时间调制条件 LoRA），这是一种新的范式，通过直接对模型权重进行条件化来实现动态、上下文感知控制。我们的框架使用超网络即时生成 LoRA 适配器，根据时间和用户的条件，针对冻结的主干在每个扩散步骤调整权重修改。这种机制使模型能够学习并执行一种显式的、自适应的策略，在整个生成过程中应用条件引导。通过在各种数据域上的实验，我们证明了这种动态、参数化控制相比静态、基于激活的方法显著提高了生成保真度和对空间条件的遵循度。TC-LoRA 建立了一种替代方法，其中模型的条件化策略通过其权重的更深层次的功能适应来修改，允许控制与任务和生成阶段的动态需求保持一致。