訓(xùn)練并行實現(xiàn) TensorParallel 張量并行代碼路徑, 代碼路徑: megatron/core/tensor_parallel 主要包含Linear / VocabEmbedding / cross_entropy 三部分. Linear 參數(shù)初始化 如果是從checkpoint熱啟, pe ...

新春開發(fā) Cocos 3D 微信小游戲計劃的第 5 天，詳細(xì)介紹了如何利用Cocos Creator開發(fā)并發(fā)布一款3D微信小游戲，包括游戲狀態(tài)機的設(shè)計理念，和微信小游戲主包大小限制時的解決方案——分包策略。從游戲設(shè)計、開發(fā)、調(diào)試到最后成功發(fā)布的全過程，為想要進入微信小游戲開發(fā)領(lǐng)域的開發(fā)者提供了寶貴的... ...

一. 簡單需求 早前有個需求當(dāng)SSH進入linux時，希望在終端窗口動太顯示當(dāng)前的時間，原來是用腳本解決的 while sleep 1;do tput sc;tput cup 0 $(($(tput cols)-29));date;tput rc;done & 如果想加上顏色，改為： while s ...

LangChain 核心模塊學(xué)習(xí)：Memory 大多數(shù)LLM應(yīng)用都具有對話界面。對話的一個重要組成部分是能夠引用先前在對話中介紹過的信息。至少，一個對話系統(tǒng)應(yīng)該能夠直接訪問一些過去消息的窗口。更復(fù)雜的系統(tǒng)將需要擁有一個不斷更新的世界模型，使其能夠保持關(guān)于實體及其關(guān)系的信息。 我們將存儲過去交互信息的 ...

有些用戶或是專家在項目建設(shè)中提出來要提煉工藝庫、模型庫、算法庫等知識庫，可以試著讓deepseek成為每個角色的助手，例如工藝的、信息化的、設(shè)備的、電氣的等角色，讓deepseek成為自己，再不斷的迭代它。deepseek扮演AI助手的角色，應(yīng)用越來越發(fā)揮出來應(yīng)有的價值。 ...

1 啥是 DeepSeek-R1？ 如你曾為一道棘手?jǐn)?shù)學(xué)題絞盡腦汁，就明白多花時間仔細(xì)思考多重要。OpenAI o1 模型證明，當(dāng) LLM 在推理時，通過增加計算量進行類似訓(xùn)練后，它們在數(shù)學(xué)、編程和邏輯等推理任務(wù)上的表現(xiàn)顯著提升。 然而，OpenAI 推理模型的訓(xùn)練方法一直是秘密。直到DeepSee ...

近期在AI領(lǐng)域最火的莫過于DeepSeek模型，DeepSeek-R1 已發(fā)布并開源，性能直接對標(biāo) OpenAl o1 正式版。作為一名AI愛好者來說還是希望能夠親自體驗一下DeepSeek-R1的真實效果。正好騰訊云HAI服務(wù)提供了非常友好的方式，僅僅需要三分鐘就可以輕松部署DeepSeek-R1 ...

思路提示詞請以我上傳文件: {雅思詞匯詞根+聯(lián)想記憶法（亂序便攜版） }單詞表為基礎(chǔ)，為 {雅思詞匯} 生成三篇英語閱讀理解文章，幫助強化單詞記憶、提升英語水平。附加5道鞏固練習(xí)（2道難題、2道基礎(chǔ)、1道判斷）IELTS詞匯表https://github.com/fanhongtao/IELTS/b ...

在競爭激烈的職場中，清晰的職業(yè)規(guī)劃和科學(xué)的求職策略是脫穎而出的關(guān)鍵。然而，面對海量信息和技術(shù)快速迭代，許多職場人往往陷入迷茫：“我的技能優(yōu)勢是什么？該向哪個方向深耕？如何找到高匹配度的崗位？” 今天，我們以一位擁有14年經(jīng)驗的資深工程師Robin的簡歷為例，結(jié)合AI工具DeepSeek的職業(yè)分析能力 ...

今年春節(jié)，好消息不斷，其中DeepSeek 的刷屏，真是振奮了國人的心。 DeepSeek 是一個基于 Transformer 架構(gòu)的高性能語言模型，專注于提供高效的推理能力和定制化支持。它適用于多種自然語言處理任務(wù)，如文本生成、對話系統(tǒng)、代碼補全等。DeepSeek 的設(shè)計目標(biāo)是讓用戶能夠在本地設(shè) ...

本文已收錄在Github，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！ 0 前言 Dify的一個“應(yīng)用”指基于LLM構(gòu)建的實際場景應(yīng)用。通過創(chuàng)建應(yīng)用，可將智能 AI 技術(shù)應(yīng)用于特定的需求。它既包含了開發(fā) AI 應(yīng)用的工程范式，也包含了具體的交付物。 一個應(yīng)用為開發(fā)者交付： 封裝友好的 API，可由后端 ...

LangChain 核心模塊學(xué)習(xí)：Chains 對于簡單的大模型應(yīng)用，單獨使用語言模型（LLMs）是可以的。 但更復(fù)雜的大模型應(yīng)用需要將 LLMs 和 Chat Models 鏈接在一起。 要么彼此鏈接，要么與其他組件鏈接。 LangChain 為這種“鏈?zhǔn)健睉?yīng)用程序提供了 Chain 接口。 La ...

本文已收錄在Github，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！ 流量：某個時間段內(nèi)的所有請求，通過手段把發(fā)送到A應(yīng)用的所有請求錄制，然后把這些請求統(tǒng)一轉(zhuǎn)發(fā)到B應(yīng)用，讓B應(yīng)用接收到的請求參數(shù)跟A應(yīng)用一致，實現(xiàn)A接收到的請求在B應(yīng)用里面重新請求了一遍。整個過程即“流量回放”。 1 流量回放的意義 ...

字節(jié)跳動技術(shù)團隊近日正式推出AI代碼編輯器Trae（官網(wǎng)：https://www.trae.ai/），這款定位為「自適應(yīng)AI IDE」的開發(fā)工具，憑借其創(chuàng)新功能組合在技術(shù)圈引發(fā)關(guān)注。作為面向下一代開發(fā)者的智能編程平臺，Trae正在重新定義人機協(xié)作的編碼體驗。 一、核心亮點解析 雙模大模型免費開放 T ...

Gemini 2.0 Flash 是谷歌最新推出的大型語言模型（LLM），它將人工智能的能力推向了新的邊界。本文將深入探討其關(guān)鍵特性，以及這些特性如何使其與其他知名模型區(qū)分開來。Gemini 與其他 LLM 的主要區(qū)別在于其多模態(tài)能力和高級推理能力。與許多主要專注于文本的 LLM 不同，Gemini ...

原作：阿爾貝托·羅梅羅 與 o1 相比，R1 的表現(xiàn)如何？ DeepSeek 在六個相關(guān)基準(zhǔn)（如 GPQA Diamond 和 SWE-bench Verified）以及其他替代測試（如 Codeforces 和 AIME）上對 R1 和 o1 進行了一對一比較。列表中遺漏了 ARC-AGI 和 F ...

一、環(huán)境準(zhǔn)備 1. 安裝VSCode 訪問 Visual Studio Code官網(wǎng) 下載并安裝最新版本 2. 安裝IDEA（運行Java項目） 訪問IDEA官網(wǎng)下載并安裝最新Community社區(qū)版 二、Roo Code插件配置 1. 安裝插件 打開VSCode擴展市場（Ctrl+Shift+X） ...

一、Cline：AI編程的通用解決方案 （項目地址：https://github.com/cline/cline） Cline作為一款開源的VS Code AI編程插件，通過集成前沿的機器學(xué)習(xí)模型，為開發(fā)者提供了智能化的編碼體驗。其核心功能包括： 智能代碼補全 基于上下文感知的代碼預(yù)測功能，支持主流 ...

0 前言 基于Dify現(xiàn)有能力，已能對不少業(yè)務(wù)場景提供幫助，但對一些特定訴求，還要借助其擴展機制，本文利用翻譯場景舉例詳細(xì)說明。 1 翻譯場景復(fù)雜性分析 翻譯是從簡單到復(fù)雜各級都存在的場景，比較簡單的翻譯可能一句簡單 Prompt，但對復(fù)雜、效果要求較高翻譯場景，可能需要一些復(fù)雜 LLM 編排，如吳 ...

LangChain 是什么 Langchain 是一個開源框架，它允許開發(fā)人員將大型語言模型與外部的計算和數(shù)據(jù)源結(jié)合起來，是一個通過組合模塊和能力抽象來擴展 LLM 的助手 為什么需要 LangChain 增強語言模型的功能： LangChain 提供了可以將語言模型與各種數(shù)據(jù)源（如數(shù)據(jù)庫、WebA ...