在本次分享中，我們主要介紹了兩個關鍵工具：通義靈碼和魔搭 Notebook。通義靈碼，作為 AIGC 應用開發的核心，提供了強大的代碼生成和輔助開發能力，也就是它提供了強大的思考能力，使編程門檻進一步降低。我們只需擁有想法和功能描述，即可得到相應的代碼開發所需應用。至于魔搭 Notebook，它作為 AIGC 應用的軀干，提供了強大的硬件資源及集成的大模型開發環境，使我們的 AIGC 應用能夠在該環境中運行。

作者：高銘健｜魔搭社區技術運營

大家好，今天我將分享如何利用通義靈碼和魔搭的 Notebook 環境快速搭建一個 AIGC 應用。

首先，我們討論 AIGC 應用的需求及其設計挑戰。當前，為何我們需要 AIGC 應用呢？AIGC 是一種利用視覺大模型生成文字、圖片和視頻等內容的應用，它顯著縮短了內容創作的時間。例如，企業能夠迅速生成營銷文案和廣告素材以應對市場變化或特定需求。

對企業及個人而言，AIGC 的最大優勢在于其能夠提供個性化精準的內容生成。這與使用特定工具或網頁端的大模型調用不同，我們自己開發的 AIGC 應用能夠提供更加個性化、風格化的內容生成。

在運行上，我們可以在本地運行 AIGC 應用，即將大模型下載至本地，以優化整個生成流程，減少 API 調用。生成的內容不受任何限制，同時還能保護用戶數據隱私。最后，AIGC 能夠結合數據生成新穎獨特的創意，為創作者提供靈感來源，通過調整參數或關鍵詞探索不同的創意方向，從而提高創作效率和多樣性。

接下來討論的是 AIGC 開發中遇到的挑戰，首先是前后端聯調的復雜性。在開發 AIGC 應用時，需要同時考慮前端界面和后端邏輯，并確保它們的匹配。此外，還需要保證各個模塊和大模型推理驗證的準確性。如果由個人單獨編寫，可能會遇到許多問題，需要針對多個文件進行反復的調整，以達到匹配。

在硬件環境和配置方面，AIGC 模型，如 Diffusion 等，高度依賴高性能 GPU 和大容量顯存以運行。此外，它們還依賴特定的框架和庫的特定版本。不同的開發環境，無論是本地運行還是在云服務器上運行，配置差異可能導致本地可以運行的模型，在服務器上卻無法運行，或者在本地運行時出現版本錯誤等問題。

在擴展功能時，針對現有的代碼框架進行擴展，會涉及到多個模塊的代碼修改。這在個人或團隊開發中可能導致復雜性增加。然而，借助通義靈碼的多文件修改和全局思考能力，這部分問題可以得到有效解決。

接下來討論的是通義靈碼和魔搭 Notebook 環境在 AIGC 應用開發中的優勢。首先，我們簡要介紹通義靈碼和 Notebook。通義靈碼目前支持多文件同時修改及工具使用能力，能夠與開發者協作完成編碼任務，如基本代碼生成、需求實現、問題解決，以及復雜的單元測試和批量代碼修改等。

魔搭提供的 Notebook 環境是一種交互式編程環境，適用于不同技術水平的 AI 開發者。無論你是編程初學者還是高級程序員，都可以利用這個 Notebook 環境進行開發。Notebook 通過與阿里云 DSW 和彈性加速計算實例的合作，提供了開箱即用的免費算力，用戶可以無縫地連接和使用這些計算資源，包括 GPU。

目前，Notebook 已經內置了完整的通義靈碼支持。只需打開 Notebook，選擇通義靈碼（左下角的小標志），登錄個人賬號，即可使用通義靈碼進行代碼開發。

那么，通義靈碼與 Notebook 的結合在 AIGC 應用開發中有哪些優勢呢？

首先，通義靈碼具備高效的開發和代碼生成能力。它能夠提供智能代碼補全及自動生成功能。例如，在開發過程中，當我們需要添加一系列模型時，只需輸入第一個模型，通義靈碼就能自動完成后續模型的添加，大大簡化了操作流程。

此外，它還支持單元測試的自動化。在開發 AIGC 應用時，由于需要調用大量大模型，如果直接將模型調用集成到應用框架中，可能會遇到運行不暢或無法加載圖片等問題，難以定位具體故障點。因此，在將模型調用部分集成到代碼框架之前，使用通義靈碼進行自動化測試是十分必要的，這樣可以快速解決潛在問題。

第二個優勢是無縫集成和開發。首先是模型調用代碼的獲取。我們知道在調用一個大模型的時候，它有一些配套的快速啟動或者特定參數的調用代碼。這個代碼的獲取，我們可以在 Notebook 中直接點擊我們想要的大模型，就可以找到調用它的代碼，非常方便。

此外，在 Notebook 環境中存在大量關于大模型開發的文檔。我們可以結合這些文檔內容，例如通過通義靈碼進行提問，讓其給出更精準且易于理解的回答。通過構建思考鏈的方式，可以提升通義靈碼在生成代碼方面的準確性。這不僅僅是簡單地要求它完成任務，而是基于相應的文檔及其思考過程。

第三個優勢是交互式開發與快速迭代。Notebook 主要提供的就是一個靈活的驗證環境，使得我們可以在代碼開發的不同階段，在 Notebook 環境中進行快速驗證。由于其背后高性能 GPU 資源的支持， Notebook 的運行速度相對較快，大大減少了驗證時間。

在本地電腦上進行驗證時，比如驗證一個模型的推理是否成功，可能需要等待較長時間，但在 Notebook 上可以顯著縮短這一時間。同樣，我們也可以實現代碼與文檔的一體化。通過在通義靈碼生成代碼后，可以自動生成相應的代碼文檔。在 Notebook 中，我們可以通過一鍵轉發或分享功能，方便整個團隊進行協作。

此外，低代碼門檻和創作效率也是其優勢之一。利用通義靈碼的功能，我們可以將自然語言轉化為代碼，這使得那些對編程不甚熟悉的人也能方便地參與應用開發。在開發過程中，我們還可以實現團隊協作和知識共享。通過 Notebook 環境，我們能夠輕松實現代碼的一鍵分享和共同閱讀等功能，從而提升我們的協作效率。

接下來，我們將詳細介紹我們的開發流程。首先，我將概述 AIGC 應用開發的總體流程，該流程主要分為幾個關鍵步驟。首先是編寫代碼框架，我們需要提供清晰、完整的代碼框架描述給通用領域模型。如果你不熟悉編寫這種代碼框架，也無需提問，這種代碼框架通常包括哪些部分？在完成編碼后，我們進行驗證，對應用界面進行驗證。我們可以運行由通義靈碼生成的代碼界面，以檢查各個組件的顯示是否正確。

在確保應用界面沒有問題后，我們便可以進行模型調用的測試。我們可以通過通義靈碼的測試單元生成功能，來檢測模型調用是否能夠正常運行。當模型能夠正常調用后，我們就可以在之前的代碼框架中添加具體的功能邏輯。在此過程中，我們需要清晰地提供功能邏輯給通義靈碼。最好是在添加一些模型調用的示例代碼，以使其明白具體的參數是什么樣的。

在功能邏輯添加完成后，我們可以通過運行當前代碼來測試整個運行流程的正確性以及各個功能是否正常運行。在確保基礎功能無誤后，我們可以進一步優化界面和具體功能，對現有框架進行優化，包括擴展功能和美化界面等。

接下來，我們將詳細探討每一步的操作方法。

首先，如何啟動 Notebook 中的通義靈碼呢？我們需要在魔搭社區中點擊“我的 Notebook”，并選擇 GPU 環境來啟動。

在我的主頁上已經選擇了 Notebook，并點擊啟動后，我們就可以查看 Notebook 的簡介。在快速開始的頁面中，可以看到終端、工具、ModelScope 模型庫以及文檔中心。我們可以通過點擊進入，直接查看所需的模型。點擊模型后，可以了解使用該模型的具體流程介紹，并能進行運行。

接著，我們可以在 Notebook 中啟動通義靈碼。首先，找到右上角的 web IDE 按鈕并點擊，這將打開 VS code 編程界面。然后，在左下角找到并點擊通義靈碼。這時，我們需要在右上角進行登錄，輸入自己的賬號和名稱。這些信息可以從阿里云的個人賬號中一鍵獲取。我已經完成登錄，現在選擇 AI 程序員功能，即可對代碼文件進行修改和代碼生成。

成功啟動 Notebook 中的通義靈碼后，我們便可以對其進行開發。 首先，我們需要編寫代碼框架提示詞，這主要包括以下關鍵部分。

首先，我們的任務目標是開發一個AIGC 應用。我們選擇首先選擇一個代碼框架，我們這里使用 gradio 框架。gradio 是一種前后端整合的代碼框架，它能夠避免我們再編寫 HTML、CSS 等前端技術。它可以直接基于 Python 創建一個 web 界面，從而實現更高效、更快速的開發。因此，我的任務是開發一個基于 gradio 框架的應用，該應用將包含文生圖、圖生圖、文生視頻這三個功能，這涵蓋了 AIGC 的核心功能。

我們可以指導用戶如何使用文生圖功能，即通過輸入文本并調用大型模型生成圖片。然而，僅提供功能描述是不夠的，我們還需要對其進行更細致的說明，即設定輸入和輸出的要求。例如，我們可以要求用戶通過下拉菜單選擇不同的模型，并允許輸入參數，不輸入時使用默認參數。這些參數包括生成圖片的高度和寬度等。我們將這些參數的要求傳達給通義靈碼。此外，我們還可以告訴他具體的調用大模型的代碼暫時保持空缺，僅僅生成代碼框架。這是因為如果我們直接告訴他這些功能，它會為我們生成整個代碼，這可能會導致錯誤，因為它對大模型調用的具體流程還不甚了解。

接下來，我將展示我們代碼框架的提示詞及其對應的效果。左側文本為提示詞，包括任務目標、功能描述、輸入輸出參數以及其它要求。

在 Notebook 中，首先新建一個文件。在該文件界面中，選擇通義靈碼并粘貼提示詞到輸入框中。同時，可以選擇模型，我選擇的是 QWQ+ 模型以提供更深入的思考。通義靈碼在接收到 QWQ 模型的指令后，會進行深度思考。

生成過程結束后，通義靈碼會向我們匯報它對代碼文件所做的主要修改，包括新增功能及每個功能模塊的具體內容。我們可以在右側查看到原始文件和生成后的文件對比。原始文件原本是空的，生成后則包含了通義靈碼為我們自動生成的代碼。我們可選擇接受這些修改，從而完成代碼的更新。可以看到，它很好地理解了我們的需求，并幫我們生成了這樣一個清晰的界面。

下一步，我們將具體運行這個文件，查看當前的運行效果。我們使用 Python 命令行將文件目錄粘貼在這里并運行。

如果在運行過程中出現錯誤，我們可以立即把錯誤反饋給通義靈碼，讓它繼續給我們修改。由于這次修改已經結束，我們點擊接受以保存這些修改。重新運行剛才的代碼后，我們將得到一個本地網址。使用 VS Code 打開這個網址，用瀏覽器打開后，即可看到我們剛才創建的 gradio 界面。

當前界面提供了三種功能：文生圖、圖生圖和文生視頻。用戶可以自定義參數以生成圖像。然而，由于我們尚未完善具體的邏輯，目前無法使用這些功能，僅提供了簡單的前端界面。

下一步是測試模型調用，即添加具體功能。我們選擇魔搭推出的模型庫作為調用接口，該庫整合了 AIGC 大模型的調用，極大地方便了我們的使用。

我們可以通過點擊庫文件來了解這個功能，并且它還提供了快速啟動指南和示例代碼。我們需要關注的重點就是這些代碼。接下來，我們將這些代碼交給通義靈碼，以便將其整合入我們的代碼邏輯。

下一步，我們將通過通義靈碼的單元測試，分別測試文生圖、圖生圖以及文生視頻的模型調用功能。具體代碼均可在相關庫文件中找到，我已提前下載至個人文件夾。

我們可隨意選取一個文件作為示例進行測試。例如，使用 SDXL 模型的文生圖示例代碼，我們可以通過調用通義靈碼的單元測試功能進行測試。我們選擇測試功能對它進行測試。

點擊測試后，通義靈碼會自動生成測試代碼，即本例中的代碼段。我們稍等一下，生成成功后，將其復制并粘貼到我們的代碼中進行測試。具體的測試步驟不在此詳細說明，重點在于了解它會進行一種簡單的測試。

在成功測試模型調用之后，我們已經確保了模型調用的正常運行。下一步是向剛才的代碼框架中添加功能邏輯。這里的提示詞是讓它使用特定的代碼框架來完成。例如，對于我們的文生圖功能部分，這段代碼是庫文件中快速啟動的代碼。

我們將其復制到通義靈碼的 AI 程序員中。首先回到主代碼框架，將提示詞復制到這里，應該選擇 AI 程序員。經過通義靈碼的思考，它已經為我們做出了具體的修改。我們查看對應的代碼，確認無誤后點擊接受，代碼即被修改。

現在，我們將運行之前構建的代碼框架。我們找到指定的文件路徑，并對它進行運行。運行后，我們打開本地網址。在選擇某一模型后，輸入提示詞，例如：“A cute cat 一只可愛的小貓”，同時輸入負面提示詞，例如：“low quality”，即低質量。

我們將推理步數設置為 20 步，以加快得出結果的速度，然后點擊生成圖像。現在，程序將運行文生圖部分，生成圖像。同時，我們也可以在命令行中觀察到生成圖像的流程。

好的，20 步現已全部加載完成，我們至此結束本次演示。現在，我們可以看到文生圖功能已基本實現。通過修改各種參數并點擊生成圖像按鈕，即可得到所需的圖像。這便是我們對運行流程進行的測試。

通過剛才的測試，我們可以確認基本功能已經正確實現。因此，下一步我們將對這些功能進行優化。例如，我們可以為文生圖模型添加 Lora 風格，也就是對基礎模型進行微調，以生成具有更個性化風格的圖片。我們可以通過添加特定提示詞，如“添加 Lora 模型”，來增強生成圖像的個性化程度和獨特風格。然后，將默認模型與添加 lower 模型后生成的圖片進行對比展示，結果如右圖所示。

我們的 prompt 是加載文生圖模型。具體而言，加載 Lora 模型的代碼可以輕松找到。加載代碼后，我們對其進行了功能說明：點擊生成圖片后，頁面將展示兩列圖片，分別是未加載 Lora 生成的圖片和加載 Lora 之后生成的圖片。我們把這段內容返回到剛才的通義靈碼中，經過通義靈碼的思考和分析，給出了具體的修改建議，并對這些修改進行了詳細的描述。我們確認修改后，即可點擊接受。

我們現在運行當前的代碼。打開 gradio 界面，可以看到原來生成圖像的下方僅有一個結果圖片框。經過我們剛才的功能添加，現在可以對比原圖與添加了 lora 效果的圖片。同樣地，我們輸入提示詞和負向提示詞，將推理部署修改為 20 以加快速度，然后生成圖像。

同樣，我們可以在下方命令行中觀察到流程的運行情況。上面這個流程框是原始圖像的進度條，而下面則是加載了 Lora 模型后的進度條。回到之前的界面，可以看到這兩張圖片在風格上存在一定的差異。這表明，我們成功地將功能添加到了正確的位置。

在優化界面過程中，可能會遇到結果不符合預期的情況。這時，我們可以利用通義靈碼的快照功能，恢復到之前的代碼版本。在前端界面設計或前后端聯調過程中，由于需要頻繁調整界面樣式，快照功能顯得尤為重要，它能夠幫助我們避免陷入越改越亂的困境。

例如，我們將簡單演示如何使用此功能優化界面樣式。好的，通義靈碼對我們的代碼進行了界面優化，包括新增了一些布局優化和 CSS 樣式。運行代碼后，我們發現出現了一些錯誤，例如，它提示“buttom”沒有應用到這個元組。

遇到這種情況，若我們希望回退到之前的版本，不希望它為我們添加這樣的代碼，我們可以選擇快照。比如我們選擇快照 4，即剛才未進行優化的版本，進行切換后，就可以恢復到之前的代碼版本。

現在，我們的系統正在正常運行，已經能夠執行我們之前的代碼。此時，我們可以指示系統對特定的描述進行修改，同時避免之前出現的問題。這正體現了我們應充分利用快照功能的智慧。

最后，讓我們對剛才的開發流程進行總結。我們首先開發的是 AIGC 應用。在視覺生成領域，當前的大模型已經能夠提供高質量且穩定的生成內容。因此，AIGC 應用正逐漸在更多行業和領域中得到應用，發揮更大作用。

在本次分享中，我們主要介紹了兩個關鍵工具：通義靈碼和魔搭 Notebook。通義靈碼，作為 AIGC 應用開發的核心，提供了強大的代碼生成和輔助開發能力，也就是它提供了強大的思考能力，使編程門檻進一步降低。我們只需擁有想法和功能描述，即可得到相應的代碼開發所需應用。至于魔搭 Notebook，它作為 AIGC 應用的軀干，提供了強大的硬件資源及集成的大模型開發環境，使我們的 AIGC 應用能夠在該環境中運行。

回顧我們的開發流程，從初始化的代碼框架搭建，到模型的選擇，再到最后的優化，每一步驟均基于通義靈碼的生成能力進行操作。這一部分的目標需要由人類明確設定，以便為通義靈碼提供清晰的要求，從而獲得更優效果。最后，當我們熟悉了通義靈碼的使用以及 Notebook 的環境后，大家可以共同探索 AIGC 的應用的更多玩法。