三院士三教授熱聊元宇宙&——AIGC，學(xué)術(shù)界怎么看？
來(lái)源：清元宇宙在近日舉辦的中國(guó)江寧2023元宇宙產(chǎn)業(yè)·人才高峰論壇暨AIGC發(fā)展大會(huì)上，中國(guó)工程院院士譚建榮、劉韻潔、鄭緯民出席并發(fā)表了主旨演講。除了三大院士，還有清華
9 月 19 日消息，阿里通義萬(wàn)相全新動(dòng)作生成模型 Wan2.2-Animate 今日正式開(kāi)源。該模型支持驅(qū)動(dòng)人物、動(dòng)漫形象和動(dòng)物照片，可應(yīng)用于短視頻創(chuàng)作、舞蹈模板生成、動(dòng)漫制作等領(lǐng)域。
Wan2.2-Animate 模型基于此前通義萬(wàn)相開(kāi)源的 Animate Anyone 模型全面升級(jí)，不僅在人物一致性、生成質(zhì)量等指標(biāo)上大幅提升，還同時(shí)支持動(dòng)作模仿和角色扮演兩種模式：
角色模仿：輸入一張角色圖片和一段參考視頻，可將視頻角色的動(dòng)作、表情遷移到圖片角色中，賦予圖片角色動(dòng)態(tài)表現(xiàn)力；
角色扮演：同時(shí)還可在保留原始視頻的動(dòng)作、表情及環(huán)境的基礎(chǔ)上，將視頻中的角色替換為圖片中的角色。
此次，通義萬(wàn)相團(tuán)隊(duì)構(gòu)建了一個(gè)涵蓋說(shuō)話、面部表情和身體動(dòng)作的大規(guī)模人物視頻數(shù)據(jù)集，并基于通義萬(wàn)相圖生視頻模型進(jìn)行后訓(xùn)練。
Wan2.2-Animate 將角色信息、環(huán)境信息和動(dòng)作等，規(guī)范到一種統(tǒng)一的表示格式，實(shí)現(xiàn)了單一模型同時(shí)兼容兩種推理模式；針對(duì)身體運(yùn)動(dòng)和臉部表情，分別使用骨骼信號(hào)和隱式特征，配合動(dòng)作重定向模塊，實(shí)現(xiàn)動(dòng)作和表情的精準(zhǔn)復(fù)刻。在替換模式中，團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)獨(dú)立的光照融合 LoRA，用于保證完美的光照融合效果。
實(shí)測(cè)結(jié)果顯示，Wan2.2-Animate 在視頻生成質(zhì)量、主體一致性和感知損失等關(guān)鍵指標(biāo)上，超越了 StableAnimator、LivePortrait 等開(kāi)源模型，是目前性能最強(qiáng)的動(dòng)作生成模型，在人類(lèi)主觀評(píng)測(cè)中，Wan2.2-Animate 甚至超越了以 Runway Act-two 代表的閉源模型。
即日起，用戶可在 Github、HuggingFace 和魔搭社區(qū)下載模型和代碼，也可以在阿里云百煉平臺(tái)調(diào)用 API，或通義萬(wàn)相官網(wǎng)直接體驗(yàn)。附開(kāi)源地址如下：
https://github.com/Wan-Video/Wan2.2
https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-14B
https://huggingface.co/Wan-AI/Wan2.2-Animate-14B
本文鏈接：http://m.rrqrq.com/showinfo-45-27925-0.html上傳一張圖、主演任何視頻，“性能最強(qiáng)動(dòng)作生成模型”阿里通義萬(wàn)相 Wan2.2-Animate 開(kāi)源
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 騰訊視頻全新上線“AI 修復(fù)”片單，《家有兒女》《食神》等 4K 超高清畫(huà)質(zhì)
下一篇： 小米開(kāi)源首個(gè)原生端到端語(yǔ)音大模型 Xiaomi-MiMo-Audio，對(duì)話自然度、交互適配達(dá)擬人化水準(zhǔn)
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)