diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/assets/dog_bone_omni_flash.jpg b/discussions/2026-09-28-peiyuan-video-editing-frontiers/assets/dog_bone_omni_flash.jpg new file mode 100644 index 0000000..45e3409 Binary files /dev/null and b/discussions/2026-09-28-peiyuan-video-editing-frontiers/assets/dog_bone_omni_flash.jpg differ diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/assets/dog_bone_omni_flash.mp4 b/discussions/2026-09-28-peiyuan-video-editing-frontiers/assets/dog_bone_omni_flash.mp4 new file mode 100644 index 0000000..458ed93 Binary files /dev/null and b/discussions/2026-09-28-peiyuan-video-editing-frontiers/assets/dog_bone_omni_flash.mp4 differ diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/evidence.html b/discussions/2026-09-28-peiyuan-video-editing-frontiers/evidence.html index 8163fc2..3d01941 100644 --- a/discussions/2026-09-28-peiyuan-video-editing-frontiers/evidence.html +++ b/discussions/2026-09-28-peiyuan-video-editing-frontiers/evidence.html @@ -5,7 +5,7 @@

Qualitative editing examples

Action substitution

The requested change replaces walking toward the door with drinking water. In the shown Gemini Omni example, drinking is added near the end while much of the walking remains. Check both the presence of the target event and removal of the source event. View the example.

Clothing edits across turns

The sequence edits clothing colors, preserves the edits in the next turn, then restores both colors. It does not test undoing only one change while preserving another. View the sequence.

-

Dog–bone interaction

The source contains a yellow-brown bone on the ground. The archived target has a differently shaped white bone in the mouth from the first frame, so it does not demonstrate the original bone being picked up. The Gemini Omni Flash output leaves the original bone on the ground and changes the dog's coat. Model attribution follows the presenter's identification of the result. These three clips belong to one example; they are not three independent trials. View the comparison.

+

Dog–bone interaction

The source contains a yellow-brown bone on the ground. The archived target has a differently shaped white bone in the mouth from the first frame, so it does not demonstrate the original bone being picked up. The third clip is LucyEdit: the original bone stays on the ground and the dog's coat changes. The fourth clip, newly supplied by the presenter, is Gemini Omni Flash: the dog approaches the original bone near the end, but the clip does not show it lifting and carrying the bone. Attribution follows the presenter's correction. These four clips belong to one example. Use Play all to start the comparison together and Pause all to pause it. View the comparison.

These examples diagnose event timing, object continuity, interaction execution, and preservation. They do not establish overall model rankings or failure rates.

Evaluation snapshot — 2026-09-26

The three results shown in the deck use different metrics and protocols. Each is a diagnostic of the judge, and their scales must not be combined.

diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/index.html b/discussions/2026-09-28-peiyuan-video-editing-frontiers/index.html index 83c7adb..f351724 100644 --- a/discussions/2026-09-28-peiyuan-video-editing-frontiers/index.html +++ b/discussions/2026-09-28-peiyuan-video-editing-frontiers/index.html @@ -3,7 +3,7 @@
CausalVideoGroup

2026-09-28 · Peiyuan Zhu

Video Editing Frontiers

Editing mechanisms, controllable changes, and persistent video editing.

-

Led by Peiyuan Zhu. A bilingual, 46-slide survey with dedicated method explanations, paper figures, playable examples, and technical hover notes.

+

Led by Peiyuan Zhu. A bilingual, 42-slide survey with dedicated method explanations, paper figures, playable examples, and technical hover notes.

Open presentationRead topic summaryReferencesExamples & evaluation notes

Discussion focus

How can a video editor change an event while keeping the intended source objects and unrelated content? The discussion connects sampling and learning mechanisms to object interaction, edit history, world models, agents, and reliable evaluation.

Open problems · Dog–object interaction · World models · Editing agents

diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.html b/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.html index ceaa30c..028f1bf 100644 --- a/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.html +++ b/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.html @@ -55,59 +55,51 @@ features，再得到上下文化 hidden states。
Condition interface
MLP connector 将 hidden states 接到 ；原 生 T5 文本条件仍然保留。
/ reference features 保留视 觉证据，只有 target 被逐步去噪。
INSIGHT
Source preservation 同时依赖 clean visual conditions 与配对监督。
Bernini
11
-
METHOD
I / MODELS & PRIORS / INSTRUCTION & UNIFIED MODELS
Bernini: how the and renderer are trained
先学语义转换，再学视频渲染，最后轻量联合优化。
I /
256p / 2 fps
更新 + decoder，保留语 -言与多模态理解。
II / renderer
480p / 16 fps
训练 renderer + lightweight text -encoder，后期偏向高质量 editing pairs。
III / joint
480p / 16 fps
轻量联合训练 与 renderer，后期加入 +
METHOD
I / MODELS & PRIORS / INSTRUCTION & UNIFIED MODELS
Bernini: how the and are trained
先学语义转换，再学视频渲染，最后轻量联合优化。
I /
256p / 2 fps
学目标语义；text NTP 保 +留语言与理解。
II /
480p / 16 fps
学目标视频；更新 + 与 text encoder。
III /
480p / 16 fps
三项损失联合优化语义预测与渲染；后期加入 CoT 数据。
Natural visual transitions
来自同一真实视频的两个 clips；近 30M image pairs 来自 tutorial keyframes。它们提供变化先验。
Instruction-aligned refinement
传播式 V2V、motion-aware V2V 与 reference 数据补充编辑监督。Stage II 的相邻 pair 采样比例逐渐降到 0。
INSIGHT
相邻真实片段有助于学习变化；高质量 editing pairs 进一步约束指令与非目标保持。
Bernini
12
-
METHOD
I / MODELS & PRIORS / INSTRUCTION & UNIFIED MODELS
TIDE
用 统一 generation、editing 与 reference-conditioned video tasks。
Semantic condition
Text + visual evidence
→
Frozen Gemma3-12B-IT
→
Semantic tokens
解释指令与参考内容，提供跨模态语义。
Visual condition
Source / target / references
→
→
LTX-2.3 visual
Clean conditions 保留细节，noisy target 使用 训练。
Role-aware tokens
Source、target、edit reference、generation reference 使用不同角色和索 -引，降低条件用途混淆。
Training scope
完整训练 LTX-2.3 视觉 14B ，Gemma 冻结； - 统一任务接口。
INSIGHT
提供可学习的条件区分；仍需用具体任务检验保持与参考绑定。
TIDE
13
-
TOPIC
I / MODELS & PRIORS / INSTRUCTION & UNIFIED MODELS
Discrete editing & joint audio–visual editing
改变生成表示，或增加输出模态，会引入不同的训练目标与评价对象。
· discrete tokens
Binary token refinement -Stage I 学 source-conditioned identity -Stage II 用 路由修改
source evidence / bit correction
· audio + video
Joint denoising -LTX-2.3 联合处理视听 reference -任务涉及声音、画面及二者同步
visual compliance / audio / sync
supervision
约 0.6M pairs；Stage II 冻结 identity reference，用 correction router 分配 -bit 修改。
supervision
约 100K 视听样本、五类人物相关任务；画面、声音与同步分别评价。
INSIGHT
离散编辑改变采样表示；音视频编辑增加了需要同时满足的输出约束。
· · TIDE
14
-
TOPIC
II / TASKS & CONTROL / LOCAL & COMPOSITIONAL
Local & compositional control
空间范围、目标外观和操作绑定，分别由哪些条件提供？
Where
显式给定需要修改的像素区域
VACE / VOID
Edited keyframe
What it looks like
给定一个时刻的目标外观，再传播
AnyV2V / PropFly
Reference image
Which appearance
迁移身份、材质或风格等参照
TIDE / Bernini
Which operation goes where
多条指令分别绑定主体与区域
CoinVE
Region binding
预测错误的区域，会把正确的操作施加给错误的人或物体。
Temporal coverage
一张首帧无法约束后续才出现的对象；遮挡后重现需要跨时刻的对应信息。
INSIGHT
局部保持的关键是区域绑定，以及边界外的信息如何进入生成过程。
VACE · VOID · AnyV2V · PropFly · TIDE · et al.
15
-
METHOD
II / TASKS & CONTROL / LOCAL & COMPOSITIONAL
PropFly
：从 teacher 的 guidance 差异中学习外观传播。
01
Frozen teacher
同一 noisy input +
TOPIC
II / TASKS & CONTROL / LOCAL & COMPOSITIONAL
Local & compositional control
空间范围、目标外观和操作绑定，分别由哪些条件提供？
Where
显式给定需要修改的像素区域
VACE / VOID
Edited keyframe
What it looks like
给定一个时刻的目标外观，再传播
AnyV2V / PropFly
Reference image
Which appearance
迁移身份、材质或风格等参照
TIDE / Bernini
Which operation goes where
多条指令分别绑定主体与区域
CoinVE
Region binding
预测错误的区域，会把正确的操作施加给错误的人或物体。
Temporal coverage
一张首帧无法约束后续才出现的对象；遮挡后重现需要跨时刻的对应信息。
INSIGHT
局部保持的关键是区域绑定，以及边界外的信息如何进入生成过程。
VACE · VOID · AnyV2V · PropFly · TIDE · et al.
13
+
METHOD
II / TASKS & CONTROL / LOCAL & COMPOSITIONAL
PropFly
：从 teacher 的 guidance 差异中学习外观传播。
01
Frozen teacher
同一 noisy input 低 / 高 估计
→
02
构造条件变化对应的 one-step clean estimates
→
03
Trained propagator
VACE adapter 学习 Guidance-Modulated FM
提供目标外观；完整源视频提供运动和场景。首帧通常由外部图像编辑器得 到。
What is trained
冻结 Wan teacher，更新 VACE-style adapter 的条件投影和 attention 模 -块，目标为 Guidance-Modulated FM。
INSIGHT
PropFly 学的是外观变化沿时间的传播，source motion 是主要保留对象。
PropFly
16
-
METHOD
II / TASKS & CONTROL / LOCAL & COMPOSITIONAL
CoinVE
将多条指令分别绑定到 region、subject 与 attention query。
coinve-framework.png
Instruction queries
每条操作使用独立 instruction query；Qwen3-VL 为其建立语义 +块，目标为 Guidance-Modulated FM。
INSIGHT
PropFly 学的是外观变化沿时间的传播，source motion 是主要保留对象。
PropFly
14
+
METHOD
II / TASKS & CONTROL / LOCAL & COMPOSITIONAL
CoinVE
将多条指令分别绑定到 region、subject 与 attention query。
coinve-framework.png
Instruction queries
每条操作使用独立 instruction query；Qwen3-VL 为其建立语义 表示，再送入区域与控制分支。
Mask predictor 定位区域，GateNet 调整操作作用范围，降低不 -同主体间的 。
区域感知的 query 混合控制 。
Backbone
Wan-14B + Qwen3-VL-8B
Data
CoinVE-200K; 2–5 operations / sample
Labels
Per-operation masks + composite mask
INSIGHT
评测同时看 per-operation success、all-operation success 与 non-target preservation。
CoinVE · CoVEBench · ReBind
17
-
TOPIC
II / TASKS & CONTROL / MOTION & ACTION
Motion, action & camera control
文本动作、身体结构、点轨迹与相机路径提供不同强度的动态约束。
Event / intent
“走近杯子，拿起，再喝水”
DynaEdit / Goku
Pose / depth
Body / geometry
规定骨架或结构轨迹
结构条件编辑器
Space–time path
指定点的身份、位置与可见性
MotionV2V
Camera control
Viewpoint
改变视点，并处理遮挡与新显露
NeoVerse / WiW
“拿杯子并喝水”包含靠近、接触、持杯移动与杯口接触，不能由单个轨迹分数 -代替。
Motion preservation
传播外观通常希望保留源运动；动作替换则需要主动释放这部分约束。
INSIGHT
Action editing 需要检查事件顺序与物体交互；平滑运动不能替代动作完成。
MotionV2V · DynaEdit · Goku · NeoVerse · World in World
18
-
METHOD
II / TASKS & CONTROL / MOTION & ACTION
MotionV2V
用 source / target point tracks 指定运动变化，保留 source RGB 作为视觉条件。
01
Track source
TAPNext 提取 +同主体间的 。
区域感知的 query 混合控制 。
Backbone
Wan-14B + Qwen3-VL-8B
Data
CoinVE-200K; 2–5 operations / sample
Labels
Per-operation masks + composite mask
INSIGHT
评测同时看 per-operation success、all-operation success 与 non-target preservation。
CoinVE · CoVEBench · ReBind
15
+
TOPIC
II / TASKS & CONTROL / MOTION & ACTION
Motion, action & camera control
文本动作、身体结构、点轨迹与相机路径提供不同强度的动态约束。
Event / intent
“走近杯子，拿起，再喝水”
DynaEdit / Goku
Pose / depth
Body / geometry
规定骨架或结构轨迹
结构条件编辑器
Space–time path
指定点的身份、位置与可见性
MotionV2V
Camera control
Viewpoint
改变视点，并处理遮挡与新显露
NeoVerse / WiW
“拿杯子并喝水”包含靠近、接触、持杯移动与杯口接触，不能由单个轨迹分数 +代替。
Motion preservation
传播外观通常希望保留源运动；动作替换则需要主动释放这部分约束。
INSIGHT
Action editing 需要检查事件顺序与物体交互；平滑运动不能替代动作完成。
MotionV2V · DynaEdit · Goku · NeoVerse · World in World
16
+
METHOD
II / TASKS & CONTROL / MOTION & ACTION
MotionV2V
用 source / target point tracks 指定运动变化，保留 source RGB 作为视觉条件。
01
Track source
TAPNext 提取 稀疏 2D point tracks
→
02
Specify target
用户 Bézier curves 编辑轨迹与时序
→
03
训练控制分支 冻结 CogVideoX-5B
Frame interpolation、time resampling 与 spatial transforms 生成可训练的 运动差异与对应 tracks。
Control granularity
冻结 CogVideoX-5B，训练类似 ControlNet 的 分支。Tracks 指定位 -移，接触关系仍依赖生成先验。
INSIGHT
源视频作为 进入网络；target tracks 提供额外运动监督。
MotionV2V
19
-
CASE
II / TASKS & CONTROL / MOTION & ACTION
“The man does not walk toward the door; instead, he drinks water.”
Source / walks toward the door
Edited / walking retained, drinking added
Target event
末段出现喝水动作。
Source event
原走路仍被保留，未完成替换。
Diagnosis
Action appending ≠ substitution.
DIAGNOSIS
一次成功替换需要同时满足目标动作出现与被替换动作消失。
Editing examples
20
-
METHOD
II / TASKS & CONTROL / PHYSICS &
VOID
deletion：删除对象后，重新生成受它影响的交互结果。
void.png
删除区、受影响区、重叠区、保护区采用不同标签。
先生成反事实结果，再用 flow 引导可选的细化。
Causal scope
删除接球者后，球的后续运动也需要重新生成。
Condition
Source RGB + + description
Pipeline
VLM / segmentation → generator → refine
Task
Object-and-interaction removal
roles
删除区 / 受影响区 / 重叠区 / 保护区分别编码。重叠区允许反事 -实运动经过旧对象位置。
INSIGHT
“需要保留什么”取决于干预：被删除对象造成的后果可以随之改变。
VOID
21
-
METHOD
II / TASKS & CONTROL / PHYSICS &
PhysEditWorld
：改变 gravity，用同一初态与控制输入观察后续轨迹。
Replay A
scene + initial state + actions
gravity g₁
→
trajectory A
Replay B
scene + initial state + actions
gravity g₂
→
trajectory B
匹配的是控制输入与 camera policy，跟随相机的实际轨迹仍会变化。
Gravity 配对用于 Wan / LingBot 的 训练；VGGT 加速度是筛选与尺度 -处理后的代理，定量范围有限。
INSIGHT
匹配重放提供物理反事实监督；真实 source-video editing 仍需独立验证。
PhysEditWorld · What-If World
22
-
TOPIC
II / TASKS & CONTROL / WORLD MODELS
World models × video editing
共同点是可干预的生成状态；操作对象和已验证任务有明显区别。
SubsetJudge and protocolNo-edit scoreInterpretation
State / interventionRepresentative workWhat the evidence supports
Visual evidence / cameraWorld in World观测与几何证据约束 camera re-rendering
Explicit scene / viewpointNeoVerse + completion；附录含外观编辑
Ongoing / actionActionSplice生成中修正 movement / camera actions
Physical variable / replayPhysEditWorldGravity 配对对条件生成与 的训练效用
Source video editing
以已有观测为条件，修改外观、视角或交互结果，检查非目标内容。
intervention
在生成进程中修改动作或状态，检查响应时间、前缀保持与后续一致性。
INSIGHT
Camera interventions 检验视角一致性；action / gravity interventions 还需检验轨迹与交互后果。
World in World · NeoVerse · ActionSplice · PhysEditWorld
23
-
METHOD
II / TASKS & CONTROL / WORLD MODELS
World in World
：将观测、warp、几何与历史作为可查询的视觉证据。
world-in-world.png
为观测、warp 与几何状态记录 camera / time / +移，接触关系仍依赖生成先验。
INSIGHT
源视频作为 进入网络；target tracks 提供额外运动监督。
MotionV2V
17
+
CASE
II / TASKS & CONTROL / MOTION & ACTION
“The man does not walk toward the door; instead, he drinks water.”
Source / walks toward the door
Edited / walking retained, drinking added
Target event
末段出现喝水动作。
Source event
原走路仍被保留，未完成替换。
Diagnosis
Action appending ≠ substitution.
DIAGNOSIS
一次成功替换需要同时满足目标动作出现与被替换动作消失。
Editing examples
18
+
METHOD
II / TASKS & CONTROL / PHYSICS &
VOID
deletion：删除对象后，重新生成受它影响的交互结果。
void.png
删除区、受影响区、重叠区、保护区采用不同标签。
先生成反事实结果，再用 flow 引导可选的细化。
Causal scope
删除接球者后，球的后续运动也需要重新生成。
Condition
Source RGB + + description
Pipeline
VLM / segmentation → generator → refine
Task
Object-and-interaction removal
roles
删除区 / 受影响区 / 重叠区 / 保护区分别编码。重叠区允许反事 +实运动经过旧对象位置。
INSIGHT
“需要保留什么”取决于干预：被删除对象造成的后果可以随之改变。
VOID
19
+
DATASET
II / TASKS & CONTROL / PHYSICS &
PhysEditWorld
重力条件数据集：在 UE5 中改变重力、重放操作，再训练模型生成对应运动。下图以跳跃为例。
常规重力
同一场景、初态与跳跃输入
1.0 × g
→
较早落地
低重力
同一场景、初态与跳跃输入
0.1 × g
→
滞空更久
固定场景、初态、角色控制器与相机规则。 +记录各重力下的视频、动作与物理状态。
用重放视频对 Wan2.2 / LingBot-World 做 。 +论文示例中，生成的下落运动随重力条件变化。
INSIGHT
当前验证集中在重力条件生成；对真实源视频改重力并保持其余内容，仍待验证。
PhysEditWorld
20
+
TOPIC
II / TASKS & CONTROL / WORLD MODELS
World models × video editing
共同点是可干预的生成状态；操作对象和已验证任务有明显区别。
State / interventionRepresentative workWhat the evidence supports
Visual evidence / cameraWorld in World观测与几何证据约束 camera re-rendering
Explicit scene / viewpointNeoVerse + completion；附录含外观编辑
Ongoing / actionActionSplice生成中修正 movement / camera actions
Physical variable / replayPhysEditWorldGravity 配对对条件生成与 的训练效用
Source video editing
以已有观测为条件，修改外观、视角或交互结果，检查非目标内容。
intervention
在生成进程中修改动作或状态，检查响应时间、前缀保持与后续一致性。
INSIGHT
Camera interventions 检验视角一致性；action / gravity interventions 还需检验轨迹与交互后果。
World in World · NeoVerse · ActionSplice · PhysEditWorld
21
+
METHOD
II / TASKS & CONTROL / WORLD MODELS
World in World
：将观测、warp、几何与历史作为可查询的视觉证据。
world-in-world.png
为观测、warp 与几何状态记录 camera / time / validity。
决定从哪里取证据。
Evidence-wise
分别调节证据影响，编辑仍需要首帧、mask 与描述。
Backbone
Frozen LingBot-World-2
Metadata
Camera / time / validity
Edit input
Edited first frame + mask + description
对应关系限定 attention 读取的位置，evidence-wise 分别 -调节不同证据。
INSIGHT
主要定量证据来自 camera re-rendering；长期 memory 等能力需区分已验证与展望。
World in World · NeoVerse · GaussianDWM++
24
-
TOPIC
II / TASKS & CONTROL / WORLD MODELS
Scene editing & intervention
从显式场景、正在生成的 ，到共享随机性的反事实分支。
MECHANISM / METHOD
SOURCE EVIDENCE
INFERENCE / LEARNING
Explicit scene state
monocular video
→
重建可随时间变化的三维表示，再由视频生成器补全新视角中缺失的内容。
Action update during sampling
ongoing generated
→
correct at
新控制到达当前求解步后，受训 修正内部状态，继续生成后续视频。
Paired hypothetical outcomes
→
branch under interventions
共享随机性用于定义分叉对照；当前实验验证尚待开展。
timing
r 是求解步；视频边界 m 是输出时间。CST-T 在前者修正后者 -的后缀。
Evidence boundary
CST-T 的严格前缀保持针对 ；最终像素仍需检验。
INSIGHT
操作重建场景； 修正生成中 ； 定义共享随机性的分支对照。
· ·
25
-
TOPIC
III / TIME & INTERACTION / LONG & STREAMING
Long video & streaming
Offline duration、causal output、real-time response 对应不同系统目标。
MECHANISM / METHOD
SOURCE EVIDENCE
INFERENCE / LEARNING
MLV-Edit
Training-free extension
offline
→
+ anchor
全局锚点缓解漂移，但过强约束会压制真实变化。
Trained streaming editor
source-aligned
→
+
少步输出降低计算量，仍需处理自己的历史误差。
SVEET /
Adaptation & reuse
existing streaming model
→
transfer control / reuse prior
前者训练离线控制，后者组织 training-free 双分支采样。
What persists
边界传递像素、、 或 reference，决定状态能保留多 -久。
What to report
首帧延迟、稳态吞吐、峰值显存、总时长，以及随时长增长的漂移。
INSIGHT
报告 latency、throughput、memory 与 long-horizon drift，才能解释“实时”。
MLV-Edit · LiveEdit · JoyAI-Video-Edit · SVEET ·
26
-
METHOD
III / TIME & INTERACTION / LONG & STREAMING
JoyAI-Video-Edit
从双向编辑模型到 streaming editor：训练、少步采样与系统优化共同作用。
01
Editing pretraining
T2I / T2V / I2I / V2V +调节不同证据。
INSIGHT
主要定量证据来自 camera re-rendering；长期 memory 等能力需区分已验证与展望。
World in World · NeoVerse · GaussianDWM++
22
+
TOPIC
II / TASKS & CONTROL / WORLD MODELS
Scene editing & intervention
从显式场景、正在生成的 ，到共享随机性的反事实分支。
MECHANISM / METHOD
SOURCE EVIDENCE
INFERENCE / LEARNING
Explicit scene state
monocular video
→
重建可随时间变化的三维表示，再由视频生成器补全新视角中缺失的内容。
Action update during sampling
ongoing generated
→
correct at
新控制到达当前求解步后，受训 修正内部状态，继续生成后续视频。
Paired hypothetical outcomes
→
branch under interventions
共享随机性用于定义分叉对照；当前实验验证尚待开展。
timing
r 是求解步；视频边界 m 是输出时间。CST-T 在前者修正后者 +的后缀。
Evidence boundary
CST-T 的严格前缀保持针对 ；最终像素仍需检验。
INSIGHT
操作重建场景； 修正生成中 ； 定义共享随机性的分支对照。
· ·
23
+
TOPIC
III / TIME & INTERACTION / LONG & STREAMING
Long video & streaming
Offline duration、causal output、real-time response 对应不同系统目标。
MECHANISM / METHOD
SOURCE EVIDENCE
INFERENCE / LEARNING
MLV-Edit
Training-free extension
offline
→
+ anchor
全局锚点缓解漂移，但过强约束会压制真实变化。
Trained streaming editor
source-aligned
→
+
少步输出降低计算量，仍需处理自己的历史误差。
SVEET /
Adaptation & reuse
existing streaming model
→
transfer control / reuse prior
前者训练离线控制，后者组织 training-free 双分支采样。
What persists
边界传递像素、、 或 reference，决定状态能保留多 +久。
What to report
首帧延迟、稳态吞吐、峰值显存、总时长，以及随时长增长的漂移。
INSIGHT
报告 latency、throughput、memory 与 long-horizon drift，才能解释“实时”。
MLV-Edit · LiveEdit · JoyAI-Video-Edit · SVEET ·
24
+
METHOD
III / TIME & INTERACTION / LONG & STREAMING
JoyAI-Video-Edit
从双向编辑模型到 streaming editor：训练、少步采样与系统优化共同作用。
01
Editing pretraining
T2I / T2V / I2I / V2V 获得双向编辑能力
→
02
压缩为 two-step sampling
→
03
Long-horizon
+ causal 输出视频
稳态 8 RGB frames / ； 与 保留 有限历史，source 持续输入。
30.19 FPS / B200 / 720×1280，长期定量证据到一分钟。少步 distillation、 -FP8、kernel 与 优化共同构成该结果。
INSIGHT
吞吐率不能直接换成首帧延迟；open-ended 接口仍要测长期漂移。
JoyAI-Video-Edit
27
-
METHOD
III / TIME & INTERACTION / LONG & STREAMING
SVEET
在双向模型上学 control，再迁移到冻结的 causal generator。
Bidirectional training
Wan2.1-VACE-1.3B +FP8、kernel 与 优化共同构成该结果。
INSIGHT
吞吐率不能直接换成首帧延迟；open-ended 接口仍要测长期漂移。
JoyAI-Video-Edit
25
+
METHOD
III / TIME & INTERACTION / LONG & STREAMING
SVEET
在双向模型上学 control，再迁移到冻结的 causal generator。
Bidirectional training
Wan2.1-VACE-1.3B 学习 stylization / inpainting / depth 减少对双向时间上下文的依赖
Task-specific conditioning branches
Causal transfer
Frozen causal backbone @@ -115,50 +107,40 @@ 抑制与 冲突的方向 保留实时 的计算结构
Transfer trained control, preserve causal prior
Visibility mismatch
双向训练能看到未来；causal 只能读历史。适配需要处理这项 feature gap。
Condition budget
Stylization、inpainting、depth-to-video 使用不同条件；mask / depth 必须 -计入接口。
INSIGHT
部分任务需要 mask 或 depth；冻结主干仍包含离线控制训练。
SVEET
28
-
METHOD
III / TIME & INTERACTION / MULTI-SHOT EDITING
MSEditor
跨过 shot cut，把同一主体与目标外观绑定到不同视角。
mse-framework.png
用深度与相机重投影构造多视角代理，使同一外观修改能对应到 +计入接口。
INSIGHT
部分任务需要 mask 或 depth；冻结主干仍包含离线控制训练。
SVEET
26
+
METHOD
III / TIME & INTERACTION / MULTI-SHOT EDITING
MSEditor
跨过 shot cut，把同一主体与目标外观绑定到不同视角。
mse-framework.png
用深度与相机重投影构造多视角代理，使同一外观修改能对应到 不同视点。
Supervisory Adapter 连接条件，将多个镜头与编辑目标打包为共 -同 token 序列。
Sparse
通过稀疏交互传递共享主体与目标外观。
Backbone
Wan2.1-14B
Input
Source + masks + edited first frame
Training
Depth / camera reprojection proxies
INSIGHT
真正困难的测试是主体缺席后重现，以及大视角变化后的编辑保持。
MSEditor
29
-
METHOD
III / TIME & INTERACTION / MULTI-SHOT EDITING
MMLVE-Agent
Shot assignment、visual memory 与 feedback 构成跨镜头执行流程。
01
Locate & assign
切分镜头，定位实体 +同 token 序列。
Sparse
通过稀疏交互传递共享主体与目标外观。
Backbone
Wan2.1-14B
Input
Source + masks + edited first frame
Training
Depth / camera reprojection proxies
INSIGHT
真正困难的测试是主体缺席后重现，以及大视角变化后的编辑保持。
MSEditor
27
+
METHOD
III / TIME & INTERACTION / MULTI-SHOT EDITING
MMLVE-Agent
Shot assignment、visual memory 与 feedback 构成跨镜头执行流程。
01
Locate & assign
切分镜头，定位实体 分配需要执行的指令
→
02
Render with memory
before / after references 调用 HappyHorse 1.0
→
03
正负反馈修订 prompt -重试相关镜头
Memory unit
保存视觉参照，供多个镜头使用。
Evidence scale
25-case benchmark；有效分母与服务拒绝处理影响均值。
INSIGHT
跨镜头一致性既可以来自模型内 attention，也可以来自模型外的 reference 管理。
MMLVE-Agent · MSEditor
30
-
TOPIC
III / TIME & INTERACTION / MULTI-TURN & AGENTS
Multi-turn editing
检索过去的视觉内容，还需要知道哪些修改仍然有效。
Source
original identity
不可变参照
→
Turn 1
red shirt → black
新增修改
→
Turn 2
change background
保持衣服修改
→
Turn 3
undo shirt edit
背景修改继续有效
检索相关历史，按重要性动态 tokenization / compression，再注入 。
需要记录哪些修改仍有效，以及被覆盖、被撤销的对象与范围。
INSIGHT
Undo 需要原始参照与有效修改记录；仅检索历史画面无法区分应保留与应撤销的变化。
· Editing examples
31
-
CASE
III / TIME & INTERACTION / MULTI-TURN & AGENTS
Apply, hold,
将左侧人物的衣服改黑、右侧人物的毛衣改为深蓝，保持后再恢复原色。
Source
Turn 1 / apply
Turn 2 / hold
Turn 3 /
Binding
两名人物分别接收自己的颜色修改。
Persistence
第二轮维持两项有效修改。
Restoration
第三轮恢复原衣服颜色。
DIAGNOSIS
观察同一段视频中，目标绑定、跨轮保持与恢复是否同时成立。
Editing examples
32
-
TOPIC
III / TIME & INTERACTION / MULTI-TURN & AGENTS
Editing agents
条件准备、工具执行与失败返修，分别影响系统效果和成本。
· tool preparation
Qwen3-VL-8B agent +重试相关镜头
Memory unit
保存视觉参照，供多个镜头使用。
Evidence scale
25-case benchmark；有效分母与服务拒绝处理影响均值。
INSIGHT
跨镜头一致性既可以来自模型内 attention，也可以来自模型外的 reference 管理。
MMLVE-Agent · MSEditor
28
+
TOPIC
III / TIME & INTERACTION / MULTI-TURN & AGENTS
Multi-turn editing
检索过去的视觉内容，还需要知道哪些修改仍然有效。
Source
original identity
不可变参照
→
Turn 1
red shirt → black
新增修改
→
Turn 2
change background
保持衣服修改
→
Turn 3
undo shirt edit
背景修改继续有效
检索相关历史，按重要性动态 tokenization / compression，再注入 。
需要记录哪些修改仍有效，以及被覆盖、被撤销的对象与范围。
INSIGHT
Undo 需要原始参照与有效修改记录；仅检索历史画面无法区分应保留与应撤销的变化。
· Editing examples
29
+
CASE
III / TIME & INTERACTION / MULTI-TURN & AGENTS
Apply, hold,
将左侧人物的衣服改黑、右侧人物的毛衣改为深蓝，保持后再恢复原色。
Source
Turn 1 / apply
Turn 2 / hold
Turn 3 /
Binding
两名人物分别接收自己的颜色修改。
Persistence
第二轮维持两项有效修改。
Restoration
第三轮恢复原衣服颜色。
DIAGNOSIS
观察同一段视频中，目标绑定、跨轮保持与恢复是否同时成立。
Editing examples
30
+
TOPIC
III / TIME & INTERACTION / MULTI-TURN & AGENTS
Editing agents
条件准备、工具执行与失败返修，分别影响系统效果和成本。
· tool preparation
Qwen3-VL-8B agent 检索 reference、grounding、结构化计划 Wan2.2-TI2V-5B 负责像素生成 Qwen3.5-4B 提供编辑条件
从自然语言请求到可用的生成条件
MMLVE · shot coordination
按 shot 分配任务 Global Memory Card 维持目标外观 检查失败并修订执行 prompt 底层 editor 为外部模型
从单次调用到多镜头执行与返修
固定底层 editor 和调用预算，再比较有无 reference 检索、分镜分配、反馈返 -修。
End-to-end cost
记录工具准确率、调用次数、等待时间、服务拒绝和最终失败率。
INSIGHT
需要分别记录 tool accuracy、edit success、重试次数与端到端成本。
· MMLVE-Agent
33
-
TOPIC
IV / DATA & EVALUATION / DATA & SUPERVISION
Where do target videos come from?
真实源上的编辑、分别生成的配对、teacher 估计与模拟器重放提供不同监督。
MECHANISM / METHOD
SOURCE EVIDENCE
INFERENCE / LEARNING
Señorita · InsViE
real source video
→
expert edit / propagation
源保持明确，编辑失败和筛选偏差可能进入 target。
Goku movement
matched keyframes
→
two generations
两段运动与背景可能同时变化，需检查非目标错配。
Online / simulation
PropFly · PhysEditWorld
teacher estimates / replay
→
condition change / physics
前者受 teacher 能力约束，后者受变量与模拟域覆盖约束。
Pair validity
检查目标变化以外的身份、背景、运动是否错配，避免把随机差异学成编辑。
Filtering bias
只保留高分样本会改变任务分布；需要记录难例被丢弃的原因与比例。
IMPLICATION
配对有效性决定监督质量；样本数和任务标签不能单独说明这一点。
Señorita-2M · InsViE-1M · Goku · PropFly · PhysEditWorld
34
-
METHOD
IV / DATA & EVALUATION / DATA & SUPERVISION
Goku
将 movement 与 composition 的数据构造，连接到统一编辑器训练。
goku.png
配对关键帧经两次 生成 source / target。源视频也是合成 -的，需要筛查非目标运动差异。
Composite target
2–5 个专家操作串联构造 target；前序误差与操作顺序可能进入 -监督。
统一编辑器学习直接执行，推理无需重复专家链。
Data
Goku-2M; 10 edit classes
Benchmark
Goku-Bench; 1K cases
Editor
Wan2.2-5B + learned mask branch
IMPLICATION
需要检查双路 的非目标差异，以及专家执行顺序留下的监督偏差。
Goku
35
-
TOPIC
IV / DATA & EVALUATION / DATA & SUPERVISION
Supervision beyond video pairs
操作级区域、物理状态和生成来源，使监督可以被定位与复核。
CoinVE 保存 2–5 条操作 -逐指令区域与 composite mask -可定位遗漏、错误主体与
Instruction ↔ subject ↔ region
State & provenance
PhysEditWorld 保存 -Game2World 用 去 HUD -分别追踪物理状态和清理对下游的影响
Initial state / intervention / editor provenance
Training utility
Operation labels 可定位错绑和遗漏；state variables 使物理干预可以匹配重 -放。
Downstream evidence
的去 HUD 应评价对 world-model 训练的作用，不能直接视为 -通用编辑成功。
IMPLICATION
操作结构、物理变量与生成来源，支持更精细的训练筛选和失败分析。
CoinVE · PhysEditWorld · Game2World
36
-
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
What counts as a successful edit?
分开观察目标完成、非目标保持与输出质量，才能解释失败来自哪里。
01
对象、属性、动作与事件顺序 +修。
End-to-end cost
记录工具准确率、调用次数、等待时间、服务拒绝和最终失败率。
INSIGHT
需要分别记录 tool accuracy、edit success、重试次数与端到端成本。
· MMLVE-Agent
31
+
TOPIC
IV / DATA & EVALUATION / DATA & SUPERVISION
Where do target videos come from?
真实源上的编辑、分别生成的配对、teacher 估计与模拟器重放提供不同监督。
MECHANISM / METHOD
SOURCE EVIDENCE
INFERENCE / LEARNING
Señorita · InsViE
real source video
→
expert edit / propagation
源保持明确，编辑失败和筛选偏差可能进入 target。
Goku movement
matched keyframes
→
two generations
两段运动与背景可能同时变化，需检查非目标错配。
Online / simulation
PropFly · PhysEditWorld
teacher estimates / replay
→
condition change / physics
前者受 teacher 能力约束，后者受变量与模拟域覆盖约束。
Pair validity
检查目标变化以外的身份、背景、运动是否错配，避免把随机差异学成编辑。
Filtering bias
只保留高分样本会改变任务分布；需要记录难例被丢弃的原因与比例。
IMPLICATION
配对有效性决定监督质量；样本数和任务标签不能单独说明这一点。
Señorita-2M · InsViE-1M · Goku · PropFly · PhysEditWorld
32
+
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
What counts as a successful edit?
分开观察目标完成、非目标保持与输出质量，才能解释失败来自哪里。
01
对象、属性、动作与事件顺序 定位到正确区域和时间 组合任务看每项与全部完成
检查每个操作，并保留 all-operation success。
02
身份、背景与有效历史修改 允许反事实的必要后果改变 检查跨帧、跨镜头、跨轮漂移
改变物理交互时，必要后果也属于目标变化。
03
Quality & coherence
画质、闪烁、运动与接触 长视频关注累积错误 -音视频任务还需要同步证据
AV editing 还要检查音频内容与声画同步。
IMPLICATION
很高，既可能说明保留成功，也可能意味着根本没有编辑。
VEFX-Bench · CoVEBench · JAVEdit · 本地 benchmark 汇总（2026-09-26）
37
-
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
Benchmark landscape
按任务与可见证据选择 benchmark，再讨论模型分数。
Research questionResourcesEvidence to inspect
Visual editingFiVE / IVEBench / VEFX指令、保持、质量与输入条件
Compositional binding / CoinVE-Bench每项操作、全部完成与主体绑定
Motion & structureGoku-Bench / MotionV2V事件、轨迹、相机与非目标变化
Physics & world / What-If World无关扰动稳定性 / 成对物理干预
Comparable interfaces
Text-only、edited keyframe、mask、tracks 的目标信息量不同，分别列出。
Failure granularity
均值之外保留 missed edit、wrong entity、collateral change、temporal drift -等失败类型。
IMPLICATION
最后一类包含生成与物理预测诊断，不能直接混入 instruction-edit 排行榜。
FiVE · VEFX-Bench · · CoinVE · Goku · et al.
38
-
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
Can the judge detect an unedited output?
No-edit：直接把 source 作为 output，检验指令完成指标的判别力。
VEFX Motion33
IF · 1–4 · Reward-4B
高于该协议的被测编辑方法
Omni Temporal-200
Overall · full video · Qwen3-VL-32B
高于该协议已有结果的编辑方法
IVEBench Short64
IS · 1–5 · Qwen2.5-VL-72B
该设置能压低无编辑输出得分
PROTOCOL SNAPSHOT 2026-09-26 / NO-EDIT EXCLUDED FROM EDITOR RANKING
IMPLICATION
三个分数属于不同量表；共同诊断的是评判者是否把保守输出误认成成功编辑。
本地 benchmark 汇总（2026-09-26）
39
-
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
Evaluation protocol
抽帧位置、上下文与 rubric 决定 judge 实际看到了哪些证据。
01
12 frames / full video +音视频任务还需要同步证据
AV editing 还要检查音频内容与声画同步。
IMPLICATION
很高，既可能说明保留成功，也可能意味着根本没有编辑。
VEFX-Bench · CoVEBench · JAVEdit · 本地 benchmark 汇总（2026-09-26）
33
+
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
Benchmark landscape
按任务与可见证据选择 benchmark，再讨论模型分数。
Research questionResourcesEvidence to inspect
Visual editingFiVE / IVEBench / VEFX指令、保持、质量与输入条件
Compositional binding / CoinVE-Bench每项操作、全部完成与主体绑定
Motion & structureGoku-Bench / MotionV2V事件、轨迹、相机与非目标变化
Physics & world / What-If World无关扰动稳定性 / 成对物理干预
Comparable interfaces
Text-only、edited keyframe、mask、tracks 的目标信息量不同，分别列出。
Failure granularity
均值之外保留 missed edit、wrong entity、collateral change、temporal drift +等失败类型。
IMPLICATION
最后一类包含生成与物理预测诊断，不能直接混入 instruction-edit 排行榜。
FiVE · VEFX-Bench · · CoinVE · Goku · et al.
34
+
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
Can the judge detect an unedited output?
No-edit：直接把 source 作为 output，检验指令完成指标的判别力。
VEFX Motion33
IF · 1–4 · Reward-4B
高于该协议的被测编辑方法
Omni Temporal-200
Overall · full video · Qwen3-VL-32B
高于该协议已有结果的编辑方法
IVEBench Short64
IS · 1–5 · Qwen2.5-VL-72B
该设置能压低无编辑输出得分
PROTOCOL SNAPSHOT 2026-09-26 / NO-EDIT EXCLUDED FROM EDITOR RANKING
IMPLICATION
三个分数属于不同量表；共同诊断的是评判者是否把保守输出误认成成功编辑。
本地 benchmark 汇总（2026-09-26）
35
+
TOPIC
IV / DATA & EVALUATION / BENCHMARKS & EVALUATION
Evaluation protocol
抽帧位置、上下文与 rubric 决定 judge 实际看到了哪些证据。
01
12 frames / full video 时间位置、音轨、分辨率
→
02
Judge & rubric
模型版本、prompt 完成 / 保持 / 质量的标准
→
03
No-edit + 人工分歧 -失败率 + 有效样本分母
Observed sensitivity
本地 12 帧与全视频设置会改变分数与排序，变化方向还依赖 judge 容量。
Comparable reporting
固定 cases 与输入接口，保留失败案例，再报告分项和区间。
IMPLICATION
“更长输入”提供更多证据，但准确性仍需人工或可验证任务来校准。
本地 benchmark 汇总（2026-09-26） · CoVEBench · MMLVE-Agent
40
-
TOPIC
OPEN PROBLEMS / 1 OF 5
Action & object interaction
动作编辑还需要绑定已有物体、建立接触，并让其他参与者与物体状态作出响应。
Open questionWhat remains difficultDiagnostic case
把动作绑定到原视频中的物体， +失败率 + 有效样本分母
Observed sensitivity
本地 12 帧与全视频设置会改变分数与排序，变化方向还依赖 judge 容量。
Comparable reporting
固定 cases 与输入接口，保留失败案例，再报告分项和区间。
IMPLICATION
“更长输入”提供更多证据，但准确性仍需人工或可验证任务来校准。
本地 benchmark 汇总（2026-09-26） · CoVEBench · MMLVE-Agent
36
+
TOPIC
OPEN PROBLEMS / 1 OF 5
Action & object interaction
动作编辑还需要绑定已有物体、建立接触，并让其他参与者与物体状态作出响应。
Open questionWhat remains difficultDiagnostic case
把动作绑定到原视频中的物体， 确认身份、初始位置与可用状态叼起原地面上的骨头，避免新增替身 检查物体轨迹、数量与身份
手与物体的接触、姿态与状态变化 能否在同一时间线上成立？抓稳、倾倒、放回，逐段检查 @@ -168,11 +150,19 @@ 并同步改变必要的交互后果把原投球改为把球放进箱中 旧投球消失，原球进入原箱
Existing objects
源视频可提供物体身份、几何与初始状态；如何把这些证据转成接触和动作约 束，仍需专门设计。
Compositional control
多角色、多物体、多指令需要分别绑定。应同时检查每项交互和全部交互的完 -成情况。
INSIGHT
交互编辑需同时验证对象绑定、接触时序与物体状态，并允许必要的轨迹和交互后果随目标动作改变。
DynaEdit · MotionV2V · VOID · CoinVE · World in World
41
-
CASE
OPEN PROBLEMS / ACTION & OBJECT INTERACTION
Dog–object interaction
任务：让狗叼起原视频地面上的骨头。检查同一物体的接触、拾取与后续运动。
Source / 原骨头在地面
Archived target / 白色骨头在嘴里
/ 骨头仍在地面
Still frames · 2.40 s
原骨头黄褐色；target 中的骨头变成白色，形状也 -不同。
Target 从首帧便叼着骨头，未展示从地面拾起的 -过程。
输出中的骨头仍在地面，狗的毛色发生额外变化。
DIAGNOSIS
原物体交互要求同一对象从地面进入嘴中，并保持接触与运动连续；只出现叼骨头的画面还不足以判成功。
Editing examples ·
42
-
TOPIC
OPEN PROBLEMS / 2 OF 5
History & multi-turn editing
需要保存可追溯的视觉证据，也需要知道每轮指令改变了什么、哪些修改仍然有效。
Open questionWhat remains difficultDiagnostic case
原视频、历史输出与指令保存什么？ +成情况。
INSIGHT
交互编辑需同时验证对象绑定、接触时序与物体状态，并允许必要的轨迹和交互后果随目标动作改变。
DynaEdit · MotionV2V · VOID · CoinVE · World in World
37
+
CASE
OPEN PROBLEMS / ACTION & OBJECT INTERACTION
Dog–object interaction
任务：让狗叼起原视频地面上的骨头。检查同一物体的接触、拾取与后续运动。
Source +原骨头在地面
Archived target +首帧已叼着白色骨头
+原骨头仍在地面
+末段靠近骨头，尚未拾起
Posters · Source / target / : 2.40 s · Omni Flash: 3.25 s
原骨头黄褐色；target 中的骨头变成白色，形状也 +不同。
Omni Flash 末段靠近原骨头，片段内未见骨头离 +地。
留下原骨头，并改变了狗的毛色。
DIAGNOSIS
原物体交互要求同一对象从地面进入嘴中，并保持接触与运动连续；只出现叼骨头的画面还不足以判成功。
Editing examples · ·
38
+
TOPIC
OPEN PROBLEMS / 2 OF 5
History & multi-turn editing
需要保存可追溯的视觉证据，也需要知道每轮指令改变了什么、哪些修改仍然有效。
Open questionWhat remains difficultDiagnostic case
原视频、历史输出与指令保存什么？ 压缩后如何保留下一轮需要的依据？仅上一轮 / 全历史 / 结构化记录 比较长序列的身份与修改保持
新指令如何覆盖旧指令， 并确定每个对象当前有效的修改？蓝杯改红，再改绿，背景不变 @@ -182,8 +172,8 @@ 如何找回同一对象与历史约束？物体离场后再出现，继续前轮编辑 按轮记录身份、纹理与状态漂移
Visual history + edit state
历史画面提供视觉证据；有效指令、对象绑定与版本关系记录编辑状态。 只保存部分计算历史。
Memory budget
固定显存与读取预算，比较整段保留、关键帧检索与结构化记录，检查压缩是 -否丢掉关键事件。
INSIGHT
多轮编辑需要同时知道“曾经发生什么”和“现在应保留什么”，让覆盖、撤销与对象重现使用一致的历史状态。
Memory-V2V · MLV-Edit · JoyAI-Video-Edit · CoinVE · Editing examples
43
-
TOPIC
OPEN PROBLEMS / 3 OF 5
World models × video editing
从原视频恢复可干预的状态，再将预测的交互后果落实到生成结果中。
Open questionWhat remains difficultDiagnostic case
视频能约束哪些几何、接触与速度？ +否丢掉关键事件。
INSIGHT
多轮编辑需要同时知道“曾经发生什么”和“现在应保留什么”，让覆盖、撤销与对象重现使用一致的历史状态。
Memory-V2V · MLV-Edit · JoyAI-Video-Edit · CoinVE · Editing examples
39
+
TOPIC
OPEN PROBLEMS / 3 OF 5
World models × video editing
从原视频恢复可干预的状态，再将预测的交互后果落实到生成结果中。
Open questionWhat remains difficultDiagnostic case
视频能约束哪些几何、接触与速度？ 被遮挡状态的不确定性如何保留？同一视频比较 2D tracks 与 3D state 检查遮挡后原物体定位与交互
“叼起”如何对应对象、接触与状态？ 动作条件能否控制同一实例？指定原骨头、接触时刻与离地目标 @@ -193,8 +183,8 @@ 生成偏差能否反馈并修正后续轨迹？遮挡后继续搬动物体并改变视角 比较一次生成与状态反馈修正
可见物体位置来自观测；遮挡几何、质量与摩擦可能只能估计。错误状态会让 后续预测偏离原场景。
编辑可用于构造共享初始状态的反事实训练对；需验证干预与后果，并检查编 -辑伪影是否成为学习捷径。
INSIGHT
World model 与编辑结合，需要从原视频恢复可干预状态，并让预测后果与生成视频中的对象、接触和事件一致。
World in World · NeoVerse · ActionSplice · VOID · PhysEditWorld
44
-
TOPIC
OPEN PROBLEMS / 4 OF 5
Editing agents & world-model planning
把目标拆成可执行条件，检查生成结果，再决定修复、回滚或结束。
Open questionWhat remains difficultDiagnostic case
对象、镜头与操作依赖怎样落到 +辑伪影是否成为学习捷径。
INSIGHT
World model 与编辑结合，需要从原视频恢复可干预状态，并让预测后果与生成视频中的对象、接触和事件一致。
World in World · NeoVerse · ActionSplice · VOID · PhysEditWorld
40
+
TOPIC
OPEN PROBLEMS / 4 OF 5
Editing agents & world-model planning
把目标拆成可执行条件，检查生成结果，再决定修复、回滚或结束。
Open questionWhat remains difficultDiagnostic case
对象、镜头与操作依赖怎样落到 底层 editor 能执行的控制条件？把叼骨头分为定位、接触、拾取 检查计划与实际输入条件是否对应
该用 mask、轨迹、参考图还是状态？ 工具失误怎样传到最终视频？固定 editor 比较不同条件接口 @@ -204,8 +194,8 @@ 更多调用是否真的提升完成率？相同调用预算比较固定流程与 agent 记录任务完成、延迟与停止原因
Agent 提出对象和事件干预，world model 预测后果，editor 生成，再核对结 果状态；每一环都可能传播错误。
工具输出、对象 ID、有效修改与版本依赖需要对齐。撤销递杯后，应重新检查 -后续接杯与放杯的前提。
INSIGHT
Agent 的价值要体现为可执行的计划、可定位的失败和可恢复的编辑，并在相同预算下提高真实任务完成率。
Aurora · MMLVE-Agent · Memory-V2V · World in World · CoVEBench
45
-
TOPIC
OPEN PROBLEMS / 5 OF 5
Benchmark design & judge reliability
评测需要覆盖交互过程与历史依赖，并证明评判者能识别具体失败。
Open questionWhat remains difficultDiagnostic case
接触、原物体复用、事件替换与 +后续接杯与放杯的前提。
INSIGHT
Agent 的价值要体现为可执行的计划、可定位的失败和可恢复的编辑，并在相同预算下提高真实任务完成率。
Aurora · MMLVE-Agent · Memory-V2V · World in World · CoVEBench
41
+
TOPIC
OPEN PROBLEMS / 5 OF 5
Benchmark design & judge reliability
评测需要覆盖交互过程与历史依赖，并证明评判者能识别具体失败。
Open questionWhat remains difficultDiagnostic case
接触、原物体复用、事件替换与 多轮依赖是否真正进入测试？按任务、对象关系与时长分层 加入依赖历史的 session tasks
能否区分完成、未编辑、物体替身 以及把新动作追加在原动作之后？no-edit、错物体、错顺序负对照 @@ -215,10 +205,10 @@ 怎样影响模型之间的比较？按文本 / mask / tracks 与预算分组 保留拒绝、重试成本及置信区间
开放式编辑可以有多个合理结果。用对象、事件及有效历史约束定义可接受结 果，单一 target 相似度并不充分。
检查训练与测试的来源重叠、配对偏差和合成偏差；记录困难案例被过滤的原 -因及任务分布变化。
INSIGHT
Benchmark 应能定位错物体、接触失败、旧动作残留与历史遗忘，并说明判分依据、输入条件和完成任务的成本。
CoVEBench · IVEBench · VEFX-Bench · 本地 benchmark 汇总（2026-09-26） · MotionV2V
46
- -

Contents

Introduction

Video Editing Frontiers
What changes when we edit a video?
Change, preserve, condition

Models & Priors

Training-free editing
FlowEdit
DynaEdit
DynaEdit: candidate selection & noise correlation
Image-to-video transfer
Learning an instruction editor
SAMA
Bernini
Bernini: how the planner and renderer are trained
TIDE
Discrete editing & joint audio–visual editing

Tasks & Control

Local & compositional control
PropFly
CoinVE
Motion, action & camera control
MotionV2V
Action substitution
VOID
PhysEditWorld
World models × video editing
World in World
Scene editing & rollout intervention

Time & Interaction

Long video & streaming
JoyAI-Video-Edit
SVEET
MSEditor
MMLVE-Agent
Multi-turn editing
Apply, hold, undo
Editing agents

Data & Evaluation

Where do target videos come from?
Goku
Supervision beyond video pairs
What counts as a successful edit?
Benchmark landscape
Can the judge detect an unedited output?
Evaluation protocol

Open problems

Action & object interaction
Dog–object interaction
History & multi-turn editing
World models × video editing
Editing agents & world-model planning
Benchmark design & judge reliability
 +因及任务分布变化。
INSIGHT
Benchmark 应能定位错物体、接触失败、旧动作残留与历史遗忘，并说明判分依据、输入条件和完成任务的成本。
CoVEBench · IVEBench · VEFX-Bench · 本地 benchmark 汇总（2026-09-26） · MotionV2V
42
+ +

Contents

Introduction

Video Editing Frontiers
What changes when we edit a video?
Change, preserve, condition

Models & Priors

Training-free editing
FlowEdit
DynaEdit
DynaEdit: candidate selection & noise correlation
Image-to-video transfer
Learning an instruction editor
SAMA
Bernini
Bernini: how the planner and renderer are trained

Tasks & Control

Local & compositional control
PropFly
CoinVE
Motion, action & camera control
MotionV2V
Action substitution
VOID
PhysEditWorld
World models × video editing
World in World
Scene editing & rollout intervention

Time & Interaction

Long video & streaming
JoyAI-Video-Edit
SVEET
MSEditor
MMLVE-Agent
Multi-turn editing
Apply, hold, undo
Editing agents

Data & Evaluation

Where do target videos come from?
What counts as a successful edit?
Benchmark landscape
Can the judge detect an unedited output?
Evaluation protocol

Open problems

Action & object interaction
Dog–object interaction
History & multi-turn editing
World models × video editing
Editing agents & world-model planning
Benchmark design & judge reliability

Paper figure - \ No newline at end of file + \ No newline at end of file diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.js b/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.js index 2b25843..6e491cc 100644 --- a/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.js +++ b/discussions/2026-09-28-peiyuan-video-editing-frontiers/presentation.js @@ -64,7 +64,18 @@ document.querySelectorAll('[data-notes]').forEach(el=>el.onclick=()=>toggle('notes')); document.querySelectorAll('[data-image]').forEach(el=>el.onclick=()=>{document.querySelector('#zoom img').src=el.dataset.image;toggle('zoom')}); let index = Math.max(0, meta.findIndex(s => s.id === location.hash.slice(1))); + let mediaRequest = 0; const videos = () => [...slides[index].querySelectorAll('video')]; + function updatePlaybackControls() { + const vs=videos(),playing=vs.some(v=>!v.paused&&!v.ended); + const buttons=[document.getElementById('mediaButton'),...slides[index].querySelectorAll('[data-media-toggle]')]; + buttons.forEach(button=>{ + button.textContent=(playing?'Pause':'Play')+(vs.length>1||button.hasAttribute('data-media-toggle')?' all':''); + button.setAttribute('aria-pressed',String(playing)); + button.title=playing?'Pause all videos (P)':'Play all videos from the start (P)'; + }); + document.getElementById('mediaButton').hidden=vs.length===0; + } function resize() { document.documentElement.style.setProperty('--scale', Math.min(innerWidth / 1280, innerHeight / 720)); placeTerm(); @@ -75,27 +86,44 @@ } function go(n) { closeTerm(); + mediaRequest++; index = Math.max(0, Math.min(slides.length - 1, n)); slides.forEach((s, i) => { s.classList.toggle('active', i === index); s.inert = i !== index; if (i !== index) s.querySelectorAll('video').forEach(v => v.pause()); }); history.replaceState(null, '', `#${meta[index].id}`); document.getElementById('counter').textContent = `${index + 1} / ${slides.length}`; - document.getElementById('mediaButton').hidden = videos().length === 0; - document.getElementById('mediaButton').textContent = 'Play'; + videos().forEach(v=>{v.preload='auto';}); + updatePlaybackControls(); document.getElementById('prev').disabled = index === 0; document.getElementById('next').disabled = index === slides.length - 1; updateNotes(); } function toggle(id) { closeTerm(); const d = document.getElementById(id); if (d.open) d.close(); else { dialogs.forEach(x => x.close()); d.showModal(); } } async function play() { - const vs = videos(); - if (vs.some(v => !v.paused)) { vs.forEach(v => v.pause()); document.getElementById('mediaButton').textContent = 'Play'; } - else { vs.forEach(v => { v.currentTime = 0; }); await Promise.all(vs.map(v => v.play().catch(() => {}))); document.getElementById('mediaButton').textContent = 'Pause'; } + const vs=videos(),request=++mediaRequest; + if(!vs.length)return; + if(vs.some(v=>!v.paused))vs.forEach(v=>v.pause()); + else { + vs.forEach(v=>{v.currentTime=0;}); + const results=await Promise.allSettled(vs.map(v=>v.play())); + if(request!==mediaRequest)return; + if(results.some(result=>result.status==='rejected')){ + vs.forEach(v=>v.pause()); + updatePlaybackControls(); + [document.getElementById('mediaButton'),...slides[index].querySelectorAll('[data-media-toggle]')].forEach(button=>{button.title='A video could not play. Check the video controls, then retry.';}); + return; + } + } + updatePlaybackControls(); } document.getElementById('prev').onclick = () => go(index - 1); document.getElementById('next').onclick = () => go(index + 1); document.getElementById('tocButton').onclick = () => toggle('toc'); document.getElementById('notesButton').onclick = () => toggle('notes'); document.getElementById('mediaButton').onclick = play; + document.querySelectorAll('[data-media-toggle]').forEach(button=>button.onclick=play); + document.querySelectorAll('video').forEach(video=>['play','pause','ended'].forEach(event=>video.addEventListener(event,()=>{ + if(video.closest('.slide')===slides[index])updatePlaybackControls(); + }))); document.getElementById('fullButton').onclick = () => document.fullscreenElement ? document.exitFullscreen() : document.documentElement.requestFullscreen(); document.querySelectorAll('[data-go]').forEach(b => b.onclick = () => { go(Number(b.dataset.go)); document.getElementById('toc').close(); }); dialogs.forEach(d => { d.querySelector('.close').onclick = () => d.close(); d.addEventListener('click', e => { if (e.target === d) { const r = d.getBoundingClientRect(); if (e.clientX < r.left || e.clientX > r.right || e.clientY < r.top || e.clientY > r.bottom) d.close(); } }); }); diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/sources.html b/discussions/2026-09-28-peiyuan-video-editing-frontiers/sources.html index c0cebc8..1a71385 100644 --- a/discussions/2026-09-28-peiyuan-video-editing-frontiers/sources.html +++ b/discussions/2026-09-28-peiyuan-video-editing-frontiers/sources.html @@ -5,6 +5,6 @@

Paper figures

Figures retain their original proportions. The presentation can enlarge the complete paper figures; the Bernini and DynaEdit slide views use crops of those originals.

Formula components

Eleven SVG components typeset the FlowEdit ODE, DynaEdit guidance, and Bernini training objectives with MathJax 3.2.2. The public presentation uses the pre-rendered assets and does not load a MathJax CDN at runtime.

-

Example videos

Nine videos accompany the action-substitution, clothing-edit, and dog–bone comparisons. They are the presentation examples supplied by Peiyuan Zhu. The dog clips are 832 × 480, 25 fps, 81 frames; their static poster images show 2.40 s. Original video files are retained for playback.

+

Example videos

Ten videos accompany the action-substitution, clothing-edit, and dog–bone comparisons. They are the presentation examples supplied by Peiyuan Zhu. In the four-video dog comparison, the source, archived target, and LucyEdit clips are 832 × 480, 25 fps, 81 frames, with posters at 2.40 s. The Gemini Omni Flash clip is 640 × 368, 24 fps, 80 frames, with its poster at 3.25 s. Original video files are retained for playback. Use Play all to start all four clips together; shorter clips hold their final frame.

Example observations and limits · Open presentation

diff --git a/discussions/2026-09-28-peiyuan-video-editing-frontiers/style.css b/discussions/2026-09-28-peiyuan-video-editing-frontiers/style.css index 7e8ad0c..ca78463 100644 --- a/discussions/2026-09-28-peiyuan-video-editing-frontiers/style.css +++ b/discussions/2026-09-28-peiyuan-video-editing-frontiers/style.css @@ -1,5 +1,7 @@ :root{color-scheme:light;--bg:#fbfaf7;--text:#17212b;--muted:#5e6b78;--line:#c9d0d5;--accent:#1e5a96;--navy:#102b4e} *{box-sizing:border-box}html,body{margin:0;width:100%;height:100%;overflow:hidden}body{background:#e5e8eb;color:var(--text);font-family:-apple-system,BlinkMacSystemFont,"PingFang SC","Helvetica Neue",Arial,sans-serif}button{font:inherit;color:inherit;cursor:pointer}a{color:var(--accent)}button:focus-visible,a:focus-visible{outline:2px solid var(--accent);outline-offset:3px} +.media-toggle{position:absolute;right:64px;top:432px;min-width:144px;height:36px;padding:0 18px;background:var(--navy);color:#fff;border:1px solid var(--navy);border-radius:3px;font-size:14px;font-weight:600}.media-toggle:hover{background:var(--accent)}.media-toggle[aria-pressed="true"]{background:#edf1f3;color:var(--navy)} +@media print{.media-toggle{display:none!important}} #deck{position:absolute;width:1280px;height:720px;left:50%;top:50%;transform:translate(-50%,-50%) scale(var(--scale,1));transform-origin:center}.slide{position:absolute;inset:0;background:var(--bg);display:none;overflow:hidden}.slide.active{display:block}.text,.rule,.figure,.media,table,.panel{position:absolute}.text{white-space:pre;letter-spacing:0;font-family:"PingFang SC","Helvetica Neue",Arial,sans-serif}.panel{border:0;pointer-events:none}.figure{object-fit:contain;cursor:zoom-in}.figure:focus-visible{outline:2px solid var(--accent)}.media{object-fit:contain;background:#102039} table{border-collapse:collapse;table-layout:fixed;font-size:17px;background:var(--bg)}th,td{border:0.4px solid var(--line);padding:7px 12px;text-align:left;vertical-align:middle;white-space:pre-line;line-height:1.35;overflow-wrap:normal}th{font-size:17px;font-weight:600;background:#e8eef3;height:42px}td{color:var(--muted)}td.primary{color:var(--navy);font-weight:600} .term-trigger{display:inline;border:0;border-bottom:1px dotted #7c94ab;padding:0;margin:0;background:none;font:inherit;color:inherit;letter-spacing:inherit;text-align:inherit;line-height:inherit;white-space:inherit;vertical-align:baseline;cursor:help}.term-trigger:hover,.term-trigger[aria-expanded=true]{color:var(--accent);background:#dfeaf380;border-bottom-style:solid}.details-link,.paper-link{position:absolute;bottom:10px;right:136px;background:none;border:0;padding:2px 0;color:var(--accent);font-size:10px;letter-spacing:.02em}.paper-link{right:200px}.details-link:hover,.paper-link:hover{text-decoration:underline}