OpenAI 重磅發布文生視頻模型 Sora，Sora在視頻時長與視覺效果等方面相較于 Pika、Runway 等主流文生視頻工具有了極大幅度的提升。具體來看，Sora 生成的視頻具有超長時長、世界模型、多鏡頭切換的三大特性：

1）超長時長

Sora 可生成長達一分鐘的高清視頻，而此前 Pika、Runway 等模 型生成的視頻時長僅在 20s 以內，在視頻時長大幅提升的同時，視頻具有連貫性，即使人物和其他場景元素被暫時遮擋或離開視野，仍能保持一致性

2）世界模型

Sora 不僅能夠深入理解用戶提示，還學會了物理世界的部分規律， 比如一個人吃漢堡后會留下咬痕、火車車窗上會產生逼真的倒影，而 Runway 等模型的擬真程度則相對較弱;

3）多鏡頭切換

Sora 可在單個視頻中設計出多個鏡頭，并且能在多角度的鏡頭切換中，實現角色和視覺風格的一致性，而 Runway 等絕大部分模型只能生成單鏡頭視頻。

相較于此前的視頻生成模型，Sora 在底層模型和算法上的創新點主要體現在以下三個方面:

1）采用 Transformer 架構的擴散模型

不同于 Runway Gen1、Stable Video Diffusion 等擴散模型主要采用經典的 U-Net 架構，Sora 用 Transformer 架構替 換 U-Net 架構，大幅提升模型擴展性;

2）訓練視頻數據保持原始大小

 不同于其他視頻生成模型通常預先將視頻調整、 裁剪或修剪為標準大小，例如裁剪為分辨率為 256×256 的 4s 視頻，Sora 在原 始大小的數據上進行訓練，一方面數據采樣更靈活，可以對寬屏 1920×1080p 視頻、垂直 1080×1920 視頻以及介于兩者之間的所有視頻進行采樣，這使 Sora 可以直接以原始寬高比為不同設備創建內容，另一方面可以改善構圖和取景，在 經過方形裁剪后的視頻上訓練的模型有時主體僅部分可見，而 Sora 生成的視頻 取景得到了明顯改善;

3）為訓練視頻生成詳細的文字描述

其他文生視頻模型通常在大型文本-視頻對 數據集上進行訓練，而Sora采用了DALL·E3和GPT的研究成果，通過為視頻 訓練數據生成或補充詳細的字幕描述，提升訓練效果，使模型預測更準確。

目前 Sora 仍存在一定局限性，包括無法模擬復雜場景的物理特性、難以理解特 定場景下的因果關系、誤解用戶提示中的空間細節信息，有待于后續的進一步 完善和提升。目前 Sora 模型已向部分專家開放，以評估潛在的風險，同時也正 在向部分設計師、電影制作人、視覺藝術家等授予訪問權限，以獲得使用反饋。