Modell-Workflow
cogvideox-2b-i2v ist ein Bild-zu-Video-Modell, mit dem sich ein Ausgangsbild anhand einer kurzen Bewegungsbeschreibung animieren lässt. In diesem Leitfaden erfährst du, wie du Eingaben vorbereitest, einen kontrollierten Durchlauf ausführst und schwache Ergebnisse analysierst.
Ein zuverlässiger Durchlauf beginnt mit einem sauberen Referenzbild, einer Bewegungsidee, die in einen kurzen Clip passt, und einer Umgebung, die den ausgewählten Checkpoint laden kann.
Wähle ein klares Bild mit einem gut sichtbaren Motiv, einer stabilen Komposition und ausreichend Platz um den Bereich, den du bewegen möchtest. Vermeide kleine Motive, starke Kompression und Text, der lesbar bleiben muss.
Beschreibe Kamerabewegung, Handlung des Motivs und Veränderungen der Umgebung. Halte den Prompt an das bereits Sichtbare gebunden, anstatt das Modell aufzufordern, mehrere voneinander unabhängige Ereignisse zu erfinden.
Wähle den 2B-Bild-zu-Video-Checkpoint aus, stelle Bild und Prompt bereit, generiere ein kurzes Beispiel und prüfe anschließend die Bewegung, bevor du Zeit in Variationen oder die Nachbearbeitung investierst.
Der 2B-Pfad lässt sich am einfachsten beurteilen, wenn der Durchlauf klein und messbar gehalten wird. Diese Referenzgrößen helfen dir, den vorgesehenen Umfang zu erkennen, bevor du Einstellungen änderst.
Betrachte das Ausgangsbild als visuellen Anker und den Prompt als Bewegungsanweisung. Ein erfolgreiches Ergebnis bewahrt das Motiv und führt zugleich eine kontrollierte zeitliche Veränderung ein.
Der beste Vergleich behält Bildausschnitt und Motiv konstant, während sich die Bewegung ändert.
ReferenzbildGenerierte SequenzVerschiedene Nutzer benötigen unterschiedliche Kontrollstufen. Diese Beispiele zeigen, wo der 2B-Workflow passt, und verweisen für die nächste Entscheidung auf einen relevanteren Leitfaden aus derselben Reihe.
Du hast ein Umgebungsbild und möchtest einen zurückhaltenden Kamerazoom oder atmosphärische Bewegung hinzufügen.
Der 2B-Pfad kann aus einem fertigen Standbild eine nützliche Bewegungsstudie erstellen, ohne die Szene von Grund auf neu aufzubauen.
Du möchtest wiederverwendbare Nodes zum Laden eines Bildes, Anwenden von Bewegungssteuerung, Sampling und Exportieren eines Clips.
Ein strukturiertes Node-Diagramm erleichtert den Vergleich von Prompts und bewahrt dasselbe Ausgangsbild.
Du benötigst schnelle visuelle Tests für eine Shot-Idee, bevor du dich auf ein größeres Modell oder einen vollständigen Schnitt festlegst.
Der kleinere Checkpoint ist ein praktischer erster Schritt, um Komposition, Richtung und grobe Bewegung zu überprüfen.
Du bist unsicher, wie du einen Prompt für Bewegung formulieren sollst, während das Originalbild erkennbar bleibt.
Eine einfache Struktur aus Motiv, Aktion und Kamera bietet dir einen wiederholbaren Ausgangspunkt für kontrollierte Experimente.
Die Image-to-Video-Pfade mit 2B und 5B verfolgen dieselbe grundlegende Idee, sind jedoch nicht in jedem Workflow austauschbar. Betrachte dies als Auswahlhilfe und nicht als Versprechen identischer Ergebnisse.
| cogvideox-2b-i2v | cogvideox-5b-i2v | |
|---|---|---|
| Modellgröße | 2B Parameter | 5B Parameter |
| Primäre Eingabe | Standbild plus Bewegungs-Prompt | Standbild plus Bewegungs-Prompt |
| Beste erste Anwendung | Schnelle Konzepttests und leichtere Experimente | Image-to-Video-Experimente mit höherer Kapazität |
| Prompt-Strategie | Aktion und Kameraführung klar ausrichten | Kann auch anspruchsvollere Szenenanweisungen umsetzen, profitiert aber weiterhin von einem klaren Fokus |
| Iterationsansatz | Nützlich, um viele Prompt-Ideen mit demselben Einzelbild zu testen | Nützlich, wenn eine vielversprechende Idee einen Durchlauf mit einem größeren Modell verdient |
| Schwerpunkt beim Setup | Kompatibilität, Speicherreserven und saubere Eingaben priorisieren | Mit einem höheren Ressourcenbedarf des größeren Checkpoints rechnen |
| Ergebnisse bewerten | Zuerst prüfen, ob das Motiv erhalten bleibt und einfache Bewegungen funktionieren | Zusätzliche Details prüfen, ohne davon auszugehen, dass jede komplexe Aktion gelingt |
| Wann wechseln? | Zum größeren Modell wechseln, wenn das Konzept funktioniert, das Ergebnis aber mehr Modellkapazität braucht | Zu 2B zurückkehren, wenn für wiederholte Versuche eine ressourcenschonendere Ausgangsbasis nötig ist |
Die meisten enttäuschenden Clips entstehen, weil Referenzbild, gewünschte Bewegung und verfügbares Generierungs-Setup nicht zusammenpassen. Korrigiere zuerst die einfachste Variable.
Verwende ein Referenzbild, eine Hauptaktion und eine Idee für die Kameraführung. Wenn sich das Motiv verformt, vereinfache die Bewegung und entferne konkurrierende Anweisungen. Wenn sich in der Szene kaum etwas ändert, formuliere die Aktion und die Richtung deutlicher. Wenn Gesichter, Hände, Text oder filigrane Strukturen fehlerhaft dargestellt werden, betrachte sie als Risiken bei der Bewertung und nicht als Beweis dafür, dass jeder Prompt falsch ist. Wenn das 2B-Ergebnis stimmig ist, aber Details fehlen, vergleiche es mit dem größeren Schwestermodell. Wenn das Ergebnis schon ab dem ersten Frame instabil ist, verbessere zuerst das Ausgangsbild und den Workflow.
Es ist eine Bild-zu-Video-Variante der CogVideoX-Modellfamilie. Sie nutzt ein Standbild als visuellen Ausgangspunkt und einen Prompt zur Beschreibung der Bewegung. Die Bezeichnung 2B bezieht sich auf die Modellgröße und garantiert nicht, dass jede Szene oder Aktion konsistent dargestellt wird.
Beginnen Sie mit einem klaren Referenzbild und einem präzisen Bewegungsprompt. Beschreiben Sie, was sich bewegt, wie es sich bewegt und ob sich die Kamera verändert. Vermeiden Sie dabei zusammenhanglose Aktionen, die vom Ausgangsbild nicht unterstützt werden.
Die 2B- und 5B-Varianten unterscheiden sich hauptsächlich in der Modellgröße und den erwarteten Ressourcenanforderungen. Die 2B-Version ist eine sinnvolle Ausgangsbasis für kontrollierte Experimente, während die 5B-Version die größere Option zum Testen ist, wenn ein Konzept mehr Kapazität benötigt.
Der Prompt beschreibt möglicherweise eher das Erscheinungsbild als die Bewegung, oder die angeforderte Aktion ist für das Referenzbild zu subtil. Verwenden Sie ein konkretes Bewegungsverb, fügen Sie eine Richtung oder Kamerabewegung hinzu und halten Sie die Beschreibung von Motiv und Szene konsistent mit dem Eingabebild.
Zeitliche Konsistenz ist schwierig, wenn das Bild kleine Motive, komplexe Interaktionen, Text, Hände oder dünne Strukturen enthält. Verwenden Sie ein klareres Bild, vereinfachen Sie die Aktion und vergleichen Sie zunächst kurze, kontrollierte Durchläufe, bevor Sie weitere Anweisungen hinzufügen.