印度公司做的。
用开源的预训练模型和商业模型(如midjourney)。开发自己的软件来管理新颖的工作流。用图片生成模型产生角色、场景、物件。然后,将它们输入到视频生成模型中。此外,还用AI生成音频、对口型(lip-sync)、sharpen图片。以上为AI工具。还用到传统的视频编辑工具来match不同场景的光线和颜色。
主要用预训练模型。用印度的数据微调。微调还不够,比如某种印度舞蹈(Kathak)没有足够多的数据。就请真人演员表演,然后AI换脸。
最大的挑战是保持人物的一致性。很多模型都支持附加上一个tag来保持人物一致。(估计说的是类似midjourney的character reference。