Hugging Face 博客

摘要： 獎勵模型相關內容 這是 讓 LLM 來評判 系列文章的第五篇，敬請關注系列文章: 基礎概念 選擇 LLM 評估模型 設計你自己的評估 prompt 評估你的評估結果 獎勵模型相關內容 技巧與提示 什么是獎勵模型？ 獎勵模型通過學習人工標注的成對 prompt 數據來預測分數，優化目標是對齊人類偏好。 閱讀全文

摘要： 歡迎來到 Physical AI 的最前沿！Seeed x LeRobot 具身智能黑客松現邀請所有對在機器人領域訓練模仿學習策略，并實時進行推理部署感興趣的人，共同創造具有影響力的創新解決方案。在這里，你可以與志同道合的開發者一起實踐前沿機器人技術，獲取免費硬件支持和獨家資源，并快速在真實機器人系 閱讀全文

摘要： 評估你的評估結果 這是 讓 LLM 來評判 系列文章的第三篇，敬請關注系列文章: 基礎概念 選擇 LLM 評估模型 設計你自己的評估 prompt 評估你的評估結果 獎勵模型相關內容 技巧與提示 在生產中或大規模使用 LLM 評估模型之前，你需要先評估它在目標任務的表現效果如何，確保它的評分跟期望的 閱讀全文

摘要： 基礎概念 這是 讓 LLM 來評判 系列文章的第一篇，敬請關注系列文章: 基礎概念 選擇 LLM 評估模型 設計你自己的評估 prompt 評估你的評估結果 獎勵模型相關內容 技巧與提示 什么是評估模型？ 評估模型 (Judge models) 是一種 用于評估其他神經網絡的神經網絡。大多數情況下它 閱讀全文

摘要： 基礎概念 這是 讓 LLM 來評判 系列文章的第一篇，敬請關注系列文章: 基礎概念 選擇 LLM 評估模型 設計你自己的評估 prompt 評估你的評估結果 獎勵模型相關內容 技巧與提示 什么是評估模型？ 評估模型 (Judge models) 是一種 用于評估其他神經網絡的神經網絡。大多數情況下它 閱讀全文

摘要： 一些評估測試集 這是 自動評估基準 系列文章的第三篇，敬請關注系列文章: 基礎概念 設計你的自動評估任務 一些評估測試集 技巧與提示 如果你感興趣的任務已經得到充分研究，很可能評估數據集已經存在了。 下面列出了一些近年來開發構建的評估數據集。需要注意的是： 大部分數據集有些 “過時”，因為它們是在 閱讀全文

摘要： 過去幾年，大語言模型 (LLM) 的進程主要由訓練時計算縮放主導。盡管這種范式已被證明非常有效，但預訓練更大模型所需的資源變得異常昂貴，數十億美元的集群已經出現。這一趨勢引發了人們對其互補方法的濃厚興趣， 即推理時計算縮放。推理時計算縮放無需日趨龐大的預訓練預算，而是采用動態推理策略，讓模型能夠對難 閱讀全文

摘要： 過去幾年，大語言模型 (LLM) 的進程主要由訓練時計算縮放主導。盡管這種范式已被證明非常有效，但預訓練更大模型所需的資源變得異常昂貴，數十億美元的集群已經出現。這一趨勢引發了人們對其互補方法的濃厚興趣， 即推理時計算縮放。推理時計算縮放無需日趨龐大的預訓練預算，而是采用動態推理策略，讓模型能夠對難 閱讀全文

摘要： 設計你的自動評估任務 這是 自動評估基準 系列文章的第二篇，敬請關注系列文章: 基礎概念 設計你的自動評估任務 一些評估測試集 技巧與提示 選擇數據集 做評估時，你可以選擇現有的數據集 (參考 一些評估數據集 頁面) 作為測試集，也可以設計自己的數據集。有一點非常重要，請注意：評估的結果與評估的數據 閱讀全文

摘要： 基礎概念 這是 自動評估基準 系列文章的第一篇，敬請關注系列文章: 基礎概念 設計你的自動評估任務 一些評估測試集 技巧與提示 注：本文內容與我寫的 通用評估博客 存在部分重疊 什么是自動評估基準？ 自動化基準測試通常按照以下方式工作：你希望了解你的模型在某些方面的表現。這些“某些方面”可以是一個明 閱讀全文