TransPixar，可以生成透明的视频！支持通过文本或图像生成RGBA视频，有了这个，AI生成的透明视频就能轻松融合进其他场景中。来自香港科技大学和Adobe的新研究↓

论文摘要：
文本转视频生成模型取得了重大进展，可在娱乐、广告和教育领域实现多种应用。然而，由于数据集有限以及现有模型难以调整，生成包含透明度的 Alpha 通道的 RGBA 视频仍然是一项挑战。Alpha 通道对于视觉效果 (VFX) 至关重要，可让烟雾和反射等透明元素无缝融入场景中。

我们推出了TransPixar，这是一种扩展预训练视频模型以生成 RGBA 的方法，同时保留原始 RGB 功能。TransPixar 利用扩散变压器 (DiT) 架构，结合特定于 alpha 的标记并使用基于 LoRA 的微调来联合生成具有高一致性的 RGB 和 alpha 通道。通过优化注意力机制，TransPixar 保留了原始 RGB 模型的优势，并在训练数据有限的情况下实现了 RGB 和 alpha 通道之间的强一致性。

我们的方法可以有效地生成多样且一致的 RGBA 视频，从而提高 VFX 和交互式内容创作的可能性。

项目：wileewang.github.io/TransPixar/

#ai创造营##ai##ChatGPT[超话]#