Tutorial prático
Um fluxo de trabalho do ComfyUI para cogvideox conecta um modelo compatível, os nós necessários, um prompt e um caminho de saída de vídeo. Os nós exatos dependem da extensão e da variante do modelo instalada, portanto verifique esses detalhes antes de seguir qualquer grafo compartilhado.
Verifique primeiro os requisitos do modelo e dos nós. Um grafo pode parecer completo e ainda depender de arquivos ou versões de nós ausentes da sua instalação.
Abrir um grafo compartilhado do ComfyUI não pode fornecer nós personalizados ausentes, pesos do modelo ou os arquivos esperados por um pacote específico de nós. Anote os nomes dos nós ausentes e identifique a extensão que os fornece antes de alterar as conexões do grafo.
O que fazer em vez disso
Instale o pacote de nós necessário a partir de sua fonte mantida, siga as instruções de posicionamento do modelo, reinicie o ComfyUI e reabra o grafo.
Os fluxos de texto para vídeo e imagem para vídeo do cogvideox podem exigir entradas diferentes. Um grafo que espera uma imagem de origem não se tornará um grafo somente de texto apenas porque o prompt mudou; o tamanho e o empacotamento do modelo também podem afetar os carregadores compatíveis.
O que fazer em vez disso
Combine o checkpoint, o carregador e os nós de entrada com a variante documentada pela extensão que você está usando.
A inferência de vídeo pode esgotar a memória disponível durante o carregamento, a amostragem ou a decodificação. Esta página não pode estabelecer um requisito mínimo universal de GPU, pois o uso de memória varia conforme o modelo, a implementação dos nós, a precisão e as configurações de saída.
O que fazer em vez disso
Comece com uma contagem de quadros e uma resolução modestas e, em seguida, use opções de economia de memória somente quando os nós instalados forem compatíveis com elas.
Alguns grafos exibem quadros intermediários sem salvar um clipe reproduzível. Portanto, uma execução bem-sucedida do sampler, por si só, não confirma que a saída foi montada ou gravada no disco.
O que fazer em vez disso
Verifique se há um nó compatível de conversão de quadros para vídeo ou de salvamento de vídeo e confirme se o arquivo esperado aparece no diretório de saída configurado.
Use esta sequência como um caminho de diagnóstico, e não como uma promessa de que todas as extensões usam nomes de nós idênticos.
Atualize o ComfyUI de acordo com as instruções de instalação e, em seguida, instale uma extensão de nós mantida e compatível com o CogVideoX. Leia a documentação dessa extensão para saber quais modelos e dependências são compatíveis. Reinicie o ComfyUI para que os nós sejam registrados e resolva todos os erros de inicialização antes de importar um grafo.
Baixe uma variante de modelo compatível com a extensão escolhida e coloque os arquivos no local esperado por essa extensão. No grafo, selecione o carregador correspondente e verifique se ele encontra os arquivos. Não presuma que um carregador para um formato de empacotamento possa abrir outro.
Para conversão de texto em vídeo, forneça um prompt descritivo pelo caminho de condicionamento de texto do grafo. Para conversão de imagem em vídeo, adicione a entrada de imagem de origem necessária e use um prompt que descreva o movimento pretendido. Mantenha consistentes as conexões do modelo, do condicionamento, da amostragem e da decodificação com o grafo de exemplo da extensão.
Comece com configurações conservadoras para facilitar o isolamento de um problema de conexão ou de memória. Coloque o grafo na fila, observe o primeiro nó que falhar e registre o erro, em vez de alterar várias configurações de uma só vez. Se os quadros aparecerem, verifique a coerência deles antes de aumentar a carga de trabalho.
Conecte os quadros decodificados a um nó de saída compatível com o formato de vídeo pretendido. Abra o arquivo salvo e verifique a reprodução, o enquadramento e o movimento; uma prévia do nó, por si só, não é suficiente. Quando o teste curto funcionar, salve o grafo com a variante do modelo e as dependências dos nós registradas.
Comece pelo nó que falhou e pela mensagem exibida. Estas verificações separam problemas de instalação, entrada e recursos antes que você reconstrua um grafo funcional.
O grafo importado exibe nós desconhecidos ou soquetes desconectados após o carregamento.
Identifique a extensão ausente, instale uma versão compatível com sua instalação do ComfyUI, reinicie e importe o grafo novamente. Para uma introdução mais ampla às entradas e saídas do modelo, use o guia vinculado antes de substituir nós por tentativa e erro.
O grafo solicita uma imagem ou o quadro de origem é ignorado durante a geração.
Confirme se o modelo carregado e o caminho de condicionamento são compatíveis com entradas de imagem e, em seguida, rastreie a conexão da imagem até o nó apropriado. O guia de variantes vinculado ajuda a distinguir uma configuração condicionada por imagem de um caminho somente de texto.
O carregador não consegue encontrar um checkpoint, embora um arquivo de modelo tenha sido baixado.
Compare a pasta e o formato de arquivo esperados pela extensão com os arquivos que você possui; em seguida, atualize a lista do carregador ou reinicie. A página de modelo vinculada aborda a variante nomeada 5B de imagem em vídeo, que não deve ser selecionada a menos que seu grafo seja compatível com ela.
Depois que uma execução curta for concluída com sucesso, altere uma única variável por vez. Isso facilita atribuir as melhorias e reverter as falhas.
| Primeira execução bem-sucedida | Refinamento controlado | |
|---|---|---|
| Prompt | Descreva o assunto principal, o cenário e uma ação clara. | Mantenha esses elementos fixos enquanto testa uma alteração no movimento, na direção da câmera ou na atmosfera. |
| Imagem de entrada | Use um quadro de origem claro quando o modelo e o grafo exigirem um. | Faça um novo teste com a mesma imagem para avaliar alterações no prompt ou nas configurações; troque as imagens somente como um experimento separado. |
| Número de quadros | Execute uma sequência curta para confirmar que a amostragem e a decodificação funcionam. | Aumente a sequência somente depois de verificar o uso de memória e inspecionar o resultado mais curto. |
| Resolução | Escolha um tamanho moderado compatível com o seu grafo. | Aumente-o gradualmente se o modelo instalado e a memória disponível permitirem. |
| Configurações de amostragem | Comece com as configurações de exemplo documentadas pela extensão. | Altere uma configuração compatível por teste e mantenha um registro do valor e do resultado. |
| Reprodutibilidade | Salve o grafo funcional e anote a variante do modelo. | Registre a versão da extensão, a seed quando disponível, o recurso de entrada e as configurações de saída junto de cada comparação. |
| Verificação da saída | Confirme que um arquivo foi salvo e é reproduzido corretamente. | Inspecione o clipe completo em busca de cintilação, alterações indesejadas no assunto e movimentos abruptos antes de considerar um quadro de prévia representativo. |
Estas perguntas abordam a configuração e a solução de problemas relacionados às buscas por um fluxo de trabalho do cogvideox no ComfyUI.
Você precisa de uma instalação funcional do ComfyUI, uma extensão de nós compatível e os arquivos de modelo exigidos por essa extensão. Se estiver importando um grafo de outra pessoa, verifique primeiro as dependências listadas e a variante do modelo; o arquivo do grafo, por si só, não as inclui.
O grafo provavelmente usa um pacote de nós personalizados que sua instalação não carregou, ou foi criado com uma versão diferente desse pacote. Confira os nomes dos nós ausentes, instale a extensão adequada que esteja recebendo manutenção, reinicie o ComfyUI e abra o grafo novamente.
Não necessariamente. Um grafo de geração de vídeo a partir de imagem precisa de um modelo compatível e de um caminho conectado para o condicionamento por imagem, enquanto um grafo de geração de vídeo a partir de texto pode não ter nenhum dos dois. Siga a documentação do modelo e da extensão instalados em vez de presumir que basta mudar o prompt.
Reduza a carga de trabalho, começando pela quantidade de quadros e pela resolução, e tente novamente com um teste curto. Se a extensão instalada documentar opções de economia de memória compatíveis, teste-as separadamente; os requisitos variam conforme o modelo, a precisão e o hardware.
O grafo pode estar mostrando uma prévia dos quadros decodificados sem enviá-los a um nó de gravação de vídeo. Verifique as conexões de saída, o formato aceito pelo nó de salvamento e o diretório de saída configurado. Depois, reproduza o arquivo salvo para confirmar que ele contém a sequência desejada.