三院士三教授熱聊元宇宙&——AIGC，學術界怎么看？
來源：清元宇宙在近日舉辦的中國江寧2023元宇宙產(chǎn)業(yè)·人才高峰論壇暨AIGC發(fā)展大會上，中國工程院院士譚建榮、劉韻潔、鄭緯民出席并發(fā)表了主旨演講。除了三大院士，還有清華
當大家還在驚嘆和沉浸于AI文本轉圖像產(chǎn)出的精妙畫作的時候，一些悶聲做大事的團隊已經(jīng)在人工智能研究上邁向了一個新的領域—文本轉視頻
9月29日，扎克伯格在facebook上發(fā)布了一條關于Make-A-Video人工智能系統(tǒng)的帖子，并附上了一段20s的視頻，視頻中匯總了Make-A-Video系統(tǒng)通過文本生成視頻的一些片段。給Make-A-Video一個文本描述，它就可以為您創(chuàng)建一段視頻。
自文本轉圖像AI技術發(fā)布以來，也才過了幾個月，人工智能技術就發(fā)展成將靜態(tài)圖直接飛升成動態(tài)視頻了，一句話就能生成視頻，不得不說近兩年AI發(fā)展的速度有點近乎瘋狂。
不過在Meta發(fā)布之后僅一周，谷歌就緊隨其后發(fā)布了他們在人工智能領域的最新成果Imagen Video和Phenaki兩種模型，前者可以生成1280*768分辨率，24幀/秒的高清視頻，后者可以將一系列的文本提示生成連貫的長視頻。這么看Meta的Make-A-Video還是遜色一點。
其實文本生成視頻技術并不是什么新鮮事兒，早在今年的6月份，清華&智源研究院就自研了“一句話生成視頻”的模型CogVideo，并且將這一模型在gitub上開源了（剛發(fā)布不久立馬就出圈了）
下面我們就一起來了解下這三個團隊各自的模型到底如何吧。
CogVideo
CogVideo可以生成分辨率為480*480（畫質有點渣），4秒（幀數(shù)32張）左右的視頻，而且在生成真實的對象，以及內容一致性和運動真實性方面的表現(xiàn)相較于當時的其他視頻生成AI模型來說都要更好，從下圖的我們不難看出這一點，生成的實際人物相關的視頻看上去都比較自然和流暢。
但是有些地方還是值得再探究下，比如這個獅子正在喝水的視頻，CogVideo是直接給獅子加上了一雙手，這和我們的常規(guī)認知是背道而馳的，仿佛只是把人的手拿水喝這個動作和獅子做了一個拼接。不過在Meta的Make-A-Video生成的視頻中也存在類似的情況。
那接下來我們就看看Make-A-Video的表現(xiàn)吧！
Make-A-Video
Make-A-Video目前已經(jīng)實現(xiàn)了下面三個功能
文字轉視頻
圖片轉視頻（將一張圖片變?yōu)閯討B(tài)視頻或者將兩張圖片合成為一個視頻）
通過原始視頻生成視頻的變體
Meta的官網(wǎng)上也給出了一些的案例。
03
Imagen Video & Phenaki
首先值得一提的是Imagen Video的清晰度，相比前兩個系統(tǒng)生成的視頻有了非常大的提升，目前支持生成1280*768分辨率，24幀/秒的視頻，下面是官網(wǎng)放出的視頻案例效果片段。
甚至還能理解3D結構
最重要的是 Imagen Video 能夠生成各種不同風格的文本動畫
不過目前谷歌方面表示不會發(fā)布 Imagen Video 模型或其源代碼，以避免存在模型可能被濫用于制造虛假、仇恨、露骨或有害的內容。
通過官網(wǎng)和論文公布的信息可以了解到Phenaki目前可以做到
1. 通過不同的描述切換生成的視頻風格或切換場景，生成連貫多樣化的視頻
2. 給一個靜態(tài)的圖像作為第一幀+一段文本描述就可以生成一個視頻
3. 通過一連串的文字描述描述生成2分鐘以上的長視頻（視頻案例請移步Phenaki官網(wǎng)查看：https://phenaki.github.io/#interactive）
而且生成的視頻還具備故事情節(jié)。這樣的話，那未來是不是人人都可以通過文本創(chuàng)建視頻，就不需要拍攝和剪輯了（驚訝?。。。┤绻娴哪軐崿F(xiàn)，那可能會給視頻行業(yè)帶來翻天覆地的變化。目前Meta和Google團隊都暫未提供線上試用入口，有感興趣的朋友可以去嘗試用下CogVideo在線網(wǎng)頁看看文字轉視頻的效果（可點擊原文鏈接跳轉）：
網(wǎng)址：https://huggingface.co/spaces/THUDM/CogVideo
文字轉視頻的AI技術在短短的幾個月內就已經(jīng)取得了巨大的進展，似乎每天都有新的突破，難以想象再過幾個月這個技術是不是又會邁向了一個新的階層，一起拭目以待吧！
更多最新資訊和業(yè)內領先方案分析關注九日論道喲。也歡迎大家加入我們的知識星球，星球也正在做第二年的續(xù)費哈。
本文鏈接：http://m.rrqrq.com/showinfo-40-498-0.htmlAI繪畫的下一站：“AI拍電影” 問世
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 中美科技巨頭死磕元宇宙
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號