真C端可用!首个可控人物视频生成大模型商汤Vimi亮相WAIC
数据猿 | 2024-07-06 20:24
【数据猿导读】 7月4日,世界人工智能大会(WAIC 2024)在上海隆重召开,由商汤科技打造的首个面向C端用户的可控人物视频生成大模型——Vimi入选WAIC展览展示最高荣誉“镇馆之宝”,成为本届大会最具创新展品。Vimi基于商汤日日新大模型的强大能力,仅通过一张任意风格的照片就能生成和目标动作一致的...

7月4日,世界人工智能大会(WAIC 2024)在上海隆重召开,由商汤科技打造的首个面向C端用户的可控人物视频生成大模型——Vimi入选WAIC展览展示最高荣誉“镇馆之宝”,成为本届大会最具创新展品。Vimi基于商汤日日新大模型的强大能力,仅通过一张任意风格的照片就能生成和目标动作一致的人物类视频,并支持多种驱动方式,可通过已有人物视频、动画、声音、文字等多种元素进行驱动。
精准表情控制!首次实现分钟级可控、唯美人物视频生成
随着大模型和生成式AI技术的快速发展,让照片中的人物动起来已经不是新鲜事。但目前市面上的相关产品在实际应用中存在诸多痛点,有的人物动作、表情动作无法精准控制,只能频繁尝试各种Prompt抽卡;有的效果稳定性不高,人物长相、背景效果变幻莫测;有的时长有限,只能生成3~4秒视频等诸多限制创作的问题,无法满足广大视频创作者的使用需求。为了解决这些应用中的实际问题,商汤可控人物视频生成大模型Vimi应运而生。
与图片表情控制类技术只能控制头部表情动作不同,Vimi不但可以实现精准的人物表情控制,还可实现在半身区域内控制照片中人物的自然肢体变化,并自动生成与人物相符的头发、服饰及背景变化。同时光影变化也能做到合理生成,让人物动作和视觉效果流畅自然,画面和谐唯美。更重要的是,Vimi具备极强的稳定性,可稳定生成长达1分钟的单镜头人物类视频,画面效果不会随着时间的变化而劣化或失真,真正满足娱乐互动等需要长时间稳定视频生成需求。
生成自然的光影 生成头发的飘动 生成一致的运镜
真C端可用!轻松化身网红,满足女性用户娱乐创作需求
Vimi将完全面向C端用户开放使用,尤其能够满足广大女性用户的娱乐创作需求。用户只需上传不同角度的高清人物图片,即可自动生成数字分身和不同风格的写真视频。由Vimi生成的视频人物不再只是呆板的五官运动,而是搭配手势、肢体、头发等,形成更完整、统一的人物动作,让创作者可基于生成的视频素材进行剪辑和再创作。
生成唱歌互动 生成舞蹈互动
针对喜爱自拍的用户,Vimi可支持聊天、唱歌、舞动等多种娱乐互动场景;而对于热衷表情包的用户来说,Vimi通过单张图片即可驱动生成各种趣味的人物表情包,玩法多样,实现创作自由。此外,Vimi还提供唯美写真风、奇幻风等多种生成风格,让用户仿佛穿越不同次元,享受大片质感的沉浸式视觉效果。
目前,行业里80%的视频都是以人物为主要内容,同时伴随短视频、直播平台的爆发,以人物为主体的视频需求量成指数级增长。然而,市面上缺少可控人物视频生成的AIGC产品,导致内容创作者的效率有待提升。Vimi的出现恰恰填补了这一需求空缺,为广大C端的视频创作者提供了简单、好用的创作工具,可以广泛应用于人物类短视频的创作。
Vimi以商汤日日新大模型体系为基础,结合商汤在计算机视觉领域的多年技术积淀和经验积累,能够精准识别和理解复杂的人物图片,并通过强大的AIGC能力,实现和谐、稳定的视频内容生成。
目前,Vimi已在商汤科技官网开放预约,欢迎体验。在7月5日商汤科技举办的“大爱无疆·向新力”人工智能论坛上,还将揭开Vimi的更多细节,敬请关注。
关于商汤
作为人工智能软件公司,商汤科技以“坚持原创,让AI引领人类进步”为使命,旨在持续引领人工智能前沿研究,持续打造更具拓展性更普惠的人工智能软件平台,推动经济、社会和人类的发展,并持续吸引及培养顶尖人才,共同塑造未来。
商汤科技拥有深厚的学术积累,并长期投入于原创技术研究,不断增强行业领先的多模态、多任务通用人工智能能力,涵盖感知智能、自然语言处理、决策智能、智能内容生成等关键技术领域,同时包含AI芯片、AI传感器及AI算力基础设施在内的关键能力。此外,商汤前瞻性打造新型人工智能基础设施——商汤AI大装置SenseCore,打通算力、算法和平台,并在此基础上建立“商汤日日新SenseNova”大模型及研发体系,以低成本解锁通用人工智能任务的能力,推动高效率、低成本、规模化的AI创新和落地,进而打通商业价值闭环,解决长尾应用问题,引领人工智能进入工业化发展阶段。商汤科技业务涵盖生成式AI、传统AI和智能汽车,相关产品与解决方案深受客户与合作伙伴好评。
商汤倡导“发展”的人工智能伦理观,并积极参与有关数据安全、隐私保护、人工智能伦理道德和可持续人工智能的行业、国家及国际标准的制订,与多个国内及多边机构就人工智能的可持续及伦理发展开展了密切合作。商汤《AI可持续发展道德准则》被联合国人工智能战略资源指南选录,并于2021年6月发表,是亚洲唯一获此殊荣的人工智能公司。
目前,商汤科技已于香港交易所主板挂牌上市。商汤在香港、上海、北京、深圳、成都、杭州、南平、青岛、西安、澳门、京都、东京、新加坡、利雅得、阿布扎比、迪拜、吉隆坡、首尔等地设立办公室。另外,商汤科技在德国、泰国、印度尼西亚、菲律宾等国家均有业务。更多信息,请访问商汤科技网站、微信、微博和领英。
媒体联络及查询
商汤科技
邮箱:pr@sensetime.com
来源:数据猿
我要评论
不容错过的资讯
大家都在搜
