即梦 AI 的对口型是视频生成里的二次编辑功能:先把一张含完整人物面容的单人照片生成视频,再点预览下的对口型,输入台词或上传配音,人物就会按台词开口说话。顺序不能反,先成片再配音,跳过生成视频这一步是找不到对口型入口的。
对口型四步做出来
第一步,上传写实或近写实风格的单人图片,面容完整,多人合照目前不支持。第二步,输入提示词生成视频,人物不能有明显形变和扭曲,镜头动作别太大。第三步,在生成的视频下方点对口型,输入台词选音色,或上传准备好的配音文件。第四步,试听后生成。中文支持全部音色,英文推荐超拟真里的音色。
口型自然的两个关键
配音时长尽量和视频时长对齐,差太多容易对不上,配音比视频长会被截断。人物情绪要和台词匹配,严肃的脸配搞笑台词会很怪。官方教程建议先对口型、再做超分补帧,顺序反了效果会打折,做完先看一遍再决定要不要重新生成。
哪些情况做出来会翻车
多人同框、侧脸、面部遮挡的视频,对口型容易失败。想让文物、玩偶开口也行,先用图生视频让它动起来,再走同一套对口型流程。别拿别人的照片做会说话的视频,涉及肖像和隐私,公开发布前先确认授权。台词别一次写太长,十几秒的内容最稳,太长容易和画面脱节,配音文件传之前先确认格式能上传。效果不满意先换配音或换一张面容更清晰的图片,别反复在同一条视频上叠加处理。