#人工智能[超话]#字节浙大联手搞大事!商用级数字人模型来了,长视频生成难题被破解
以前做数字人视频,稍微长点就“变脸”,手还总僵得像机器人?现在不用愁了!字节跳动和浙江大学刚联手推出商用级音频驱动数字人模型InfinityHuman,直接把AI数字人从“花架子”变成能干活的“实用工具”。
这款模型最牛的地方,就是解决了俩行业老难题。一是“身份漂移”,以前生成30秒以上视频,数字人可能越变越不像最初的样子,现在靠姿态引导技术,不管是3分钟的产品讲解,还是电影角色“复活”,数字人五官、风格都能稳到底。二是“细节拉胯”,之前虚拟人做手势总变形、表情呆板,现在用手部校正和多模态注意力技术,虚拟主播握商品、翻包装,讲师点头、比手势,都跟真人一样自然。
技术上它也不复杂,走的是“先搭框架再细化”的路子。先整合图片、文字、音频,生成带大概动作的低清视频,再根据初始形象调整姿态,最后专门优化手部细节。实验数据也靠谱,在视觉真实感、时序连贯性上,比市面上主流技术都强,尤其是对中文语音适配特别好,唇形和说话节奏能精准对上。
现在这模型已经能落地干活了,覆盖的场景特别实用。电商商家能用虚拟主播24小时带货,演示3C产品时,数字人手指点屏幕都跟真的一样;企业做培训,不用反复拍真人讲师,虚拟讲师能快速出标准化课程,效率提了80%;自媒体更爽,给张照片、一段音频,就能批量出3分钟以上口播视频,有MCN机构试过,单日产出从5条涨到30条。
这次合作也是字节和浙大的“强强联手”,之前就合作过快速训练3D数字人的技术,这次直接推进到商用阶段。现在模型已经放到字节的商业化平台上,用户在网页端就能调用,能生成每秒30帧的视频。未来还会优化多语言、多风格,往元宇宙社交、智能客服方向探索。
对行业来说,这可是个大变化。以前拍真人视频每分钟要花上万元,现在用这模型成本能降到千元级,中小商家也用得起;出视频的时间从几天压缩到几小时,追热点、赶促销都来得及。不过,数字人身份认证、伦理这些问题也得跟上,才能让技术好好发挥作用。
总的来说,这个模型让AI数字人真正能“干活”了,以后电商、教育、传媒行业的内容生产方式可能都要变。说不定再过阵子,我们身边会出现更多能聊天、能办事的数字人伙伴,数字经济又多了个新引擎。 http://t.cn/AXPxcj5S
发布于 福建
