星辰大海

摘要： 方法 Qwen2-VL系列包含三種體量的模型，分別是Qwen2-VL-2B, Qwen2-VL-7B, Qwen2-VL-72B。表1列舉出這些模型的超參數和重要信息。值得注意的是，這三個模型視覺編碼器始終都采用675M參數量的ViT，沒有因模型而改變。此舉是為了確保ViT部分的計算量保持常量，沒有 閱讀全文

摘要： Qwen-VL論文筆記 摘要 在這項工作中，我們介紹Qwen-VL系列，一組旨在感知和理解文本與圖像的大規模視覺語言模型。從Qwen-LM這個基礎大語言模型出發，我們通過如下四條精心設計，賦予了其視覺能力： （1）視覺編碼器；（2）輸入輸出接口設計；（3）三階段訓練流程；（4）多語言多模態清理后的語 閱讀全文

摘要： 簡介 神經常微分方程模型是一類新的深度神經網絡模型，不同于VGG、ResNet等這些有有限個離散的隱藏層構成的神經網絡模型。 例如殘差網絡、循環神經網絡解碼器、歸一化流等模型建立起復雜的變換，是通過一個變換（相對簡單的變換，比如ReLU變換）序列實現的。公式化表示為$$\mathbf h_{l+1} 閱讀全文

摘要： 通用pair對加權方案 參數是如何更新的？ 設\(x_i,x_j \in R^d\)，分別表示兩個樣本的特征向量，且特征向量模長為1. 定義這兩樣本相似度為這兩個特征的內積, 即\(S_{ij}=<x_i, x_j>\). 由于特征向量模長為1，因此內積便是余弦相似度。 考慮基于pair對的損失\( 閱讀全文

摘要： 接著擴散模型 簡述訓練擴散模型過程中用到的損失函數形式。完整的觀察數據\(x\)的對數似然如下： \[\begin{aligned} \mathrm{log}\ p(x) &\geq \mathbb{E}_{q_{\phi}(z_{1:T}|z_0)} \mathrm{log} \frac{p(z_ 閱讀全文

摘要： OpenAI Sora技術報告官方鏈接 可能無法訪問 Video generation models as world simulators 我們探索了視頻數據生成模型的大規模訓練方法。具體來說，在不同時長、分辨率和縱橫比的視頻和圖片數據上聯合訓練的文本條件擴散模型。利用transformer架構操 閱讀全文

摘要： 概況 目標 給定一張參考人物圖\(I_{ref}\)和運動序列\(p^{1:N}=\{p_1, \cdots, p_N\}\)，\(N\)是視頻幀長度。論文目標是合成一個運動連貫的視頻\(I^{1:N}=\{I_1, \cdots, I_N\}\)，合成視頻中人物與參考人物是一樣的，且遵循所提供的運 閱讀全文

摘要： AnimateAnyone 目標 給定一張人物的圖像和一個運動姿態序列，然后生成這種運動姿態的參考人物的視頻片段。 預備知識 視頻生成依賴的基礎知識如擴散模型、隱變量擴散模型等在此不再贅述，可以自行查閱相關知識。本博客可供參考的有擴散模型 Diffusion Model和Latent Diffusi 閱讀全文

摘要： 預備知識 視頻生成依賴的技術點：Stable Diffusion，Latent Diffusion Model，DreamBooth， LoRA。此處不進行相關知識點介紹，如需請查閱相關資料 個性化動畫生成 目標 生成個性化動畫的圖像模型，一般要求用對應的視頻訓練集進行額外的微調。而這將使事情變得困 閱讀全文

摘要： 有不少介紹擴散模型的資料，其中"Understanding Diffusion Models: A Unified Perspective"論文是我讀到的解釋最詳細也是最易于理解的一個。 數學符號 用字母\(x\)表示可觀測到變量，用字母\(z\)表示隱變量 用\(q_{\phi}(z|x)\)表示 閱讀全文