Como instalar o FantasyTalking

 🛠️ Como instalar o FantasyTalking

1. Pré-requisitos:

   • Python 3.8 ou superior

   • PyTorch ≥ 2.0.0

   • Recomenda-se uma GPU com pelo menos 24 GB de VRAM para melhor desempenho.fantasy-amap.github.io+3GitHub+3Reddit+3

2. Clonar o repositório:

   bash
   git clone https://github.com/Fantasy-AMAP/fantasy-talking.git
   cd fantasy-talking
   

3. Instalar dependências:

   bash
   pip install -r requirements.txt
   # Opcional: instalar flash_attn para acelerar o cálculo de atenção
   pip install flash_attn
   

4. Baixar os modelos necessários:

   • Utilize o huggingface-cli para baixar os seguintes modelos:

     • Wan2.1-I2V-14B-720P (modelo base)

     • Wav2Vec (codificador de áudio)

     • FantasyTalking (pesos condicionados por áudio)

   bash
   huggingface-cli login
   huggingface-cli repo clone Wan2.1-I2V-14B-720P
   huggingface-cli repo clone Wav2Vec
   huggingface-cli repo clone FantasyTalking
   

GitHub

Certifique-se de colocar os arquivos dos modelos nas pastas corretas conforme especificado no repositório.

---

▶️ Como usar o FantasyTalking

1. Preparar os arquivos de entrada:

   • Imagem estática do rosto (por exemplo, input.jpg)

   • Arquivo de áudio (por exemplo, audio.wav)

2. Executar a inferência:

   bash
   python infer.py --image_path input.jpg --audio_path audio.wav --output_path output.mp4
   

Isso gerará um vídeo (output.mp4) com o retrato animado sincronizado com o áudio fornecido.

---

🔗 Recursos adicionais

• Repositório no GitHub: FantasyTalking

• Demonstrações e informações técnicas: Site oficialGitHub+1fantasy-amap.github.io+1

Gostou do conteúdo? Inscreva-se no canal e receba mais novidades!