Tutoriel pratique
Un workflow ComfyUI cogvideox relie un modèle compatible, les nœuds requis, un prompt et un chemin de sortie vidéo. Les nœuds exacts dépendent de l’extension et de la variante de modèle que vous installez. Vérifiez donc ces détails avant de suivre un graphe partagé.
Vérifiez d’abord les exigences du modèle et des nœuds. Un graphe peut sembler complet tout en dépendant de fichiers ou de versions de nœuds absents de votre installation.
L’ouverture d’un graphe ComfyUI partagé ne peut pas fournir les nœuds personnalisés, les poids du modèle ou les fichiers requis par un pack de nœuds particulier. Notez le nom des nœuds manquants et identifiez l’extension qui les fournit avant de modifier les connexions du graphe.
Que faire à la place
Installez le pack de nœuds requis depuis sa source maintenue, suivez ses instructions de placement du modèle, redémarrez ComfyUI, puis rouvrez le graphe.
Les chemins texte-vers-vidéo et image-vers-vidéo de cogvideox peuvent nécessiter des entrées différentes. Un graphe qui attend une image source ne devient pas un graphe texte uniquement simplement parce que son prompt change ; la taille et le conditionnement du modèle peuvent également affecter les chargeurs compatibles.
Que faire à la place
Faites correspondre le checkpoint, le chargeur et les nœuds d’entrée à la variante documentée par l’extension que vous utilisez.
L’inférence vidéo peut épuiser la mémoire disponible lors du chargement, de l’échantillonnage ou du décodage. Cette page ne peut pas établir une quantité minimale universelle de mémoire GPU, car son utilisation varie selon le modèle, l’implémentation des nœuds, la précision et les paramètres de sortie.
Que faire à la place
Commencez avec un nombre d’images et une résolution modestes, puis utilisez des options permettant d’économiser la mémoire uniquement lorsque vos nœuds installés les prennent en charge.
Certains graphes exposent des images intermédiaires sans enregistrer de clip lisible. Une exécution réussie de l’échantillonneur ne confirme donc pas à elle seule que la sortie a été assemblée ou écrite sur le disque.
Que faire à la place
Vérifiez la présence d’un nœud compatible de conversion d’images en vidéo ou d’enregistrement vidéo, et confirmez que le fichier attendu apparaît dans le répertoire de sortie configuré.
Utilisez cette séquence comme parcours de diagnostic plutôt que comme garantie que toutes les extensions utilisent des noms de nœuds identiques.
Mettez ComfyUI à jour selon ses instructions d’installation, puis installez une extension de nœuds compatible avec cogvideox et toujours maintenue. Consultez la documentation de cette extension pour connaître les modèles pris en charge et les dépendances. Redémarrez ComfyUI pour que ses nœuds soient enregistrés, et résolvez toute erreur de démarrage avant d’importer un graphe.
Téléchargez une variante de modèle prise en charge par l’extension choisie et placez ses fichiers à l’emplacement attendu par celle-ci. Dans le graphe, sélectionnez le chargeur correspondant et vérifiez qu’il trouve les fichiers. Ne supposez pas qu’un chargeur prévu pour un format de paquetage puisse en ouvrir un autre.
Pour générer une vidéo à partir de texte, fournissez une instruction descriptive via le chemin de conditionnement textuel du graphe. Pour générer une vidéo à partir d’une image, ajoutez l’entrée d’image source requise et utilisez une instruction décrivant le mouvement souhaité. Veillez à ce que les connexions du modèle, du conditionnement, de l’échantillonnage et du décodage correspondent à celles du graphe d’exemple de l’extension.
Commencez avec des paramètres prudents afin de faciliter l’identification d’un problème de connexion ou de mémoire. Lancez le graphe, repérez le premier nœud qui échoue et notez son erreur au lieu de modifier plusieurs paramètres à la fois. Si des images apparaissent, vérifiez leur cohérence avant d’augmenter la charge de travail.
Connectez les images décodées à un nœud de sortie prenant en charge le format vidéo souhaité. Ouvrez le fichier enregistré et vérifiez la lecture, le cadrage et le mouvement ; un simple aperçu dans un nœud ne suffit pas. Une fois le court test réussi, enregistrez le graphe en indiquant la variante du modèle et ses dépendances de nœuds.
Commencez par le nœud qui échoue et son message d’erreur. Ces vérifications permettent de distinguer les problèmes d’installation, d’entrée et de ressources avant de reconstruire un graphe qui fonctionnait.
Le graphe importé affiche des nœuds inconnus ou des connecteurs déconnectés après son chargement.
Identifiez l’extension manquante, installez une version compatible avec votre installation de ComfyUI, redémarrez, puis importez à nouveau le graphe. Pour une présentation plus générale des entrées et sorties des modèles, consultez le guide indiqué en lien avant de remplacer des nœuds au hasard.
Le graphe demande une image, ou l’image source est ignorée pendant la génération.
Vérifiez que le modèle chargé et le chemin de conditionnement prennent en charge l’entrée d’image, puis suivez la connexion de l’image jusqu’au nœud approprié. Le guide des variantes indiqué en lien aide à distinguer une configuration conditionnée par une image d’un chemin reposant uniquement sur du texte.
Le chargeur ne trouve pas de checkpoint alors qu’un fichier de modèle a été téléchargé.
Comparez le dossier et le format de fichier attendus par l’extension avec les fichiers dont vous disposez, puis actualisez la liste du chargeur ou redémarrez. La page du modèle indiquée en lien présente la variante 5B de génération de vidéo à partir d’une image ; ne la sélectionnez que si votre graphe la prend en charge.
Après la réussite d’une courte séquence, ne modifiez qu’une seule variable à la fois. Cela facilite l’attribution des améliorations et l’annulation des échecs.
| Première exécution réussie | Affinement contrôlé | |
|---|---|---|
| Prompt | Décrivez le sujet principal, le cadre et une action claire. | Gardez ces éléments fixes tout en testant une modification du mouvement, de la direction de la caméra ou de l’atmosphère. |
| Image d’entrée | Utilisez une image source claire lorsque le modèle et le graphe en nécessitent une. | Effectuez un nouveau test avec la même image pour évaluer les changements de prompt ou de paramètres ; ne changez d’image que dans le cadre d’une expérience distincte. |
| Nombre d’images | Exécutez une courte séquence pour vérifier que l’échantillonnage et le décodage fonctionnent. | Augmentez la séquence uniquement après avoir vérifié l’utilisation de la mémoire et inspecté le résultat plus court. |
| Résolution | Choisissez une taille modeste prise en charge par votre graphe. | Augmentez-la progressivement si le modèle installé et la mémoire disponible le permettent. |
| Paramètres d’échantillonnage | Commencez avec les paramètres d’exemple documentés de l’extension. | Modifiez un seul paramètre pris en charge par test et notez la valeur ainsi que le résultat. |
| Reproductibilité | Enregistrez le graphe fonctionnel et notez sa variante de modèle. | Pour chaque comparaison, notez la version de l’extension, la graine lorsqu’elle est disponible, l’élément d’entrée et les paramètres de sortie. |
| Vérification de la sortie | Vérifiez qu’un fichier a été enregistré et qu’il est lu correctement. | Inspectez l’intégralité du clip pour repérer les scintillements, les modifications indésirables du sujet et les mouvements brusques avant de considérer une image d’aperçu comme représentative. |
Ces questions portent sur la configuration et le dépannage suggérés par les recherches d'un flux de travail cogvideox dans ComfyUI.
Vous avez besoin d'une installation fonctionnelle de ComfyUI, d'une extension de nœuds compatible et des fichiers de modèle requis par cette extension. Si vous importez le graphe de quelqu'un d'autre, vérifiez d'abord les dépendances indiquées et la variante du modèle ; le fichier du graphe ne les inclut pas à lui seul.
Le graphe utilise probablement un pack de nœuds personnalisés que votre installation n'a pas chargé, ou il a été créé avec une autre version de ce pack. Vérifiez les noms des nœuds manquants, installez l'extension maintenue appropriée, redémarrez ComfyUI, puis rouvrez le graphe.
Pas nécessairement. Un graphe d'image vers vidéo nécessite un modèle compatible et un chemin de conditionnement par image connecté, tandis qu'un graphe de texte vers vidéo peut ne disposer d'aucun de ces éléments. Suivez la documentation correspondant au modèle et à l'extension installés plutôt que de supposer qu'il suffit de modifier l'invite.
Réduisez la charge de travail, en commençant par le nombre d'images et la résolution, puis réessayez avec un test court. Si l'extension installée documente des options prises en charge pour économiser de la mémoire, testez-les séparément ; les exigences varient selon le modèle, la précision et le matériel.
Le graphe prévisualise peut-être les images décodées sans les transmettre à un nœud d'écriture vidéo. Vérifiez les connexions de sortie, le format pris en charge par le nœud d'enregistrement et le répertoire de sortie configuré. Lisez ensuite le fichier enregistré pour confirmer qu'il contient la séquence attendue.