学习猫学习猫
搜索教程/工具/资源…
AI应用
可获取

ComfyUI-LTXVideo

一组功能强大的自定义节点，用于扩展 ComfyUI 对 LTX-2 视频生成模型的支持能力。
24 预览
学作者 学习猫
2026-10-20
目录
前言
前置要求
快速开始 🚀
示例工作流
Union IC-LoRA 模型
主要特性
工作原理
HDR IC-LoRA
主要特性
Dub-It IC-LoRA
主要特性
像素空间放大 IC-LoRA
主要特性
文本转音频（T2A）
主要特性
所需模型
高级技巧
低显存（Low VRAM）

扩展介绍

一组功能强大的自定义节点，用于扩展 ComfyUI 对 LTX-2 视频生成模型的支持能力。

LTX-2 已内置到 ComfyUI 核心中（在此查看），所有 ComfyUI 用户均可直接使用。本仓库提供了额外的节点和工作流，帮助您充分利用 LTX-2 的高级功能。

了解更多关于 LTX-2 的信息 请参阅 LTX-2 主仓库，获取模型详情及其他资源。

前置要求

在 ComfyUI 中开始使用 LTX-2 工作流之前，请确保您已具备：

  • 已安装 ComfyUI（点击此处下载](https://www.comfy.org/download)
  • 支持 CUDA 的 GPU，显存 32GB 及以上
  • 100GB 以上可用磁盘空间，用于存放模型和缓存

快速开始 🚀

我们建议使用 Comfy Manager 中提供的 LTX-2 工作流。

  1. 打开 ComfyUI
  2. 点击 Manager 按钮（或按 Ctrl+M）
  3. 选择 Install Custom Nodes
  4. 搜索“LTXVideo”
  5. 点击 Install
  6. 等待安装完成
  7. 重启 ComfyUI

节点将出现在节点菜单中的“LTXVideo”分类下。所需模型将在首次使用时自动下载。

Union IC-LoRA 模型

我们推出了一款全新的 Union IC-LoRA 模型，将深度和边缘（Canny）控制条件整合到一个统一的 LoRA 中。

主要特性

  • 统一控制：单个 LoRA 支持多种控制条件（深度或边缘）。
  • 降采样潜在空间处理：union LoRA 在降采样的潜在空间大小上运行，这减少了内存使用，并显著加速推理，同时保持质量。

工作原理

union LoRA 经过训练，能够在单个模型中理解和响应两种控制信号（深度图和边缘图）。该模型学习到：

  1. 解析多种条件：识别输入中存在哪些控制信号
  2. 在降低分辨率下处理：在降采样的潜在空间上工作以提高效率

HDR IC-LoRA

我们提供了一个 HDR IC-LoRA，它生成以 ARRI LogC3 编码的线性 HDR 视频，支持输出适合调色和 EXR 导出的高动态范围内容的工作流。

主要特性

  • 线性 HDR 输出：该 LoRA 在 LogC3 压缩空间中生成帧；LTXVHDRDecodePostprocess 节点将这些帧解码回线性 HDR 值。
  • SDR 预览 + 原始 HDR：该节点同时输出 Reinhard 色调映射的 SDR 预览和原始线性 HDR 张量，供下游使用。
  • EXR 导出：可选地将线性 HDR 帧写入为 16/32 位 EXR 图像序列。要启用 EXR 写入，请在启动 ComfyUI 前在环境中设置 OPENCV_IO_ENABLE_OPENEXR=1 。导出的 EXR 序列最好在 DJV（或 macOS 版 DJV）中查看。

Dub-It IC-LoRA

我们提供了一个 Dub-It IC-LoRA，用于对视频中的语音进行配音或改写。给定一个源视频和包含目标对话的文本提示，它会生成与目标文本匹配的新唇部动作和音频，同时保留说话者的身份特征。

主要特性

  • 多语言配音：将语音翻译成另一种语言——模型会重新生成匹配的唇部动作和音频。
  • 同语言改写：在保持原始语言不变的情况下，改变说话者的内容。
  • 两阶段流水线：第一阶段以基础分辨率生成视频和音频；第二阶段在冻结音频的同时进行放大。
  • 说话者身份保留：参考音频令牌提供说话者上下文，确保生成的语音保持一致。

像素空间放大 IC-LoRA

我们提供了 像素空间放大 IC-LoRA，通过合成精细细节而非简单插值像素，创造性地放大低分辨率视频。给定一个低分辨率参考片段，模型会以 2× 或 4× 分辨率重新渲染，并生成空间细节——使其成为一个创意性上采样器，而非像素精确的细化器。

主要特性

  • 2× 和 4× 变体：选择 2× 放大模型用于适度放大，或选择 4× 放大模型用于更大的分辨率提升。
  • 生成式细节合成：模型从参考中合成纹理和结构，而非忠实保留每个像素。

先草稿后放大的工作流：先在较低的基础分辨率（例如约 280p）下生成，以锁定构图和运动，然后运行放大器以获得最终的高分辨率输出。

可调节的保真度：LoRA 强度、引导比例和步数控制输出跟随参考的紧密程度——较低的值更贴近源内容；较高的值允许更多创意细节。

文本转音频（T2A）

LTX-2 是一个联合的音视频变换器，但它可以独立生成音频。LTXVAudioOnlyModel 节点将模型置于仅音频模式，用于文本转音频，不产生视频输出。

主要特性

  • 仅音频采样：该节点关闭模型的 run_vx、a2v_cross_attn 和 v2a_cross_attn 标志，因此音频去噪不依赖视频潜在表示，视频流被跳过。这与参考的单阶段 T2A 管道的 video=None 行为一致。
  • 最小虚拟视频潜在表示：模型将其输入按位置拆分为 [video, audio] 部分，因此采样器仍需要索引 0 处的视频潜在表示。使用 LTXVAudioOnlyEmptyVideoLatent 节点（一个固定的 64x64 单帧占位符，无需调整参数）通过 LTXVConcatAVLatent 与音频潜在表示连接；在启用 LTXVAudioOnlyModel 时，它不会被关注，且增加的成本可忽略不计。
  • 音频解码：LTXVAudioVAEDecode 直接从联合潜在表示中提取音频，然后使用标准的内置音频节点（例如 Save Audio (FLAC)）保存。

所需模型

下载以下模型：

LTX-2.3 模型检查点 - 选择并下载其中一个模型到 COMFYUI_ROOT_FOLDER/models/checkpoints 文件夹。

空间放大模型 - 本仓库中当前两阶段流水线实现所必需。下载到 COMFYUI_ROOT_FOLDER/models/latent_upscale_models 文件夹。

时间放大模型 - 本仓库中当前两阶段流水线实现所必需。下载到 COMFYUI_ROOT_FOLDER/models/latent_upscale_models 文件夹。

蒸馏 LoRA - 本仓库中当前两阶段流水线实现所必需（DistilledPipeline 和 ICLoraPipeline 除外）。下载到 COMFYUI_ROOT_FOLDER/models/loras 文件夹。

Gemma 文本编码器 从仓库下载所有文件到 COMFYUI_ROOT_FOLDER/models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized。

LoRAs 选择并下载到 COMFYUI_ROOT_FOLDER/models/loras 文件夹。

高级技巧

低显存（Low VRAM）

  • 对于显存较低的系统，您可以使用来自 low_vram_loaders.py 的模型加载器节点。这些节点确保正确的执行顺序，并执行模型卸载，从而使生成过程适配于 32 GB 显存。
  • 使用 ComfyUI 参数 --reserve-vram：python -m main --reserve-vram 5（或其他以 GB 为单位的数值）。
  • 有关在 ComfyUI 中使用 LTX-2 模型、工作流和节点的完整信息，请访问我们的 开源文档。