又見阿郎

摘要： 概述 首發自個人公眾號：阿郎小哥的隨筆驛站 DeepSeek R1系列建議閱讀之前的系列文章： 聊聊DeepSeek R1的一些總結 聊聊DeepSeek R1的開源復現庫——Open R1之合成數據 聊聊DeepSeek R1的知識蒸餾與應用思考 簡介 GRPO 是一種在線學習算法，這意味著它通過 閱讀全文

摘要： 概述 Github官方地址：GLM-4 網上已經有很多關于微調的文章，介紹各種方式下的使用，這里不會贅述。我個人比較關心的是微調時的loss計算邏輯，這點在很多的文章都不會有相關的描述，因為大多數人都是關心如何使用之類的應用層，而不是其具體的底層邏輯，當然咱也說不清太底層的計算。 可了解其它loss 閱讀全文

摘要： 轉載請備注出處：http://www.rzrgm.cn/zhiyong-ITNote 概述 自然語言處理NLP任務的實現，相比較以前基于傳統機器學習算法實現方法，現在越來越集中使用大模型來實現。 通過——數據標注-模型訓練-模型調優/微調-模型壓縮-預測部署的大模型流程，覆蓋NLP多場景滿足 閱讀全文

摘要： 轉載請備注出處：http://www.rzrgm.cn/zhiyong-ITNote 概述 在做微調訓練時，鑒于業務場景的需要，可能會存在微調數據集中含有敏感詞匯，譬如：自殺、跳樓等。而開源模型可能沒有做敏感詞匯的屏蔽工程。因此可能就會出現不可預控的現象，而我遇到的是，當我輸入敏感詞匯時，模 閱讀全文

摘要： 轉載請備注出處：http://www.rzrgm.cn/zhiyong-ITNote 背景 目前在公司內部4張A10的GPU服務器上部署了ChatGLM3開源模型；然后部署了官方默認的web_demo、api_demo兩種模式；重新設計了前端，支持H5和安卓兩個客戶端調用。但卻發現了不能并發 閱讀全文

摘要： 轉載請注明出處：http://www.rzrgm.cn/zhiyong-ITNote SSE：Server Sent Event；服務器發送事件。 Server-Sent Events（SSE）是一種由服務器向客戶端推送實時數據的技術。它是構建基于事件的、服務器到客戶端的通信的一種方法，特別 閱讀全文

摘要： 轉載請注明出處：http://www.rzrgm.cn/zhiyong-ITNote 多模態：文本、音頻、視頻、圖像等多形態的展現形式。 目前部門內業務要求領域大模型需要是多模態——支持音頻/文本。從個人思考的角度來審視下，審視下多模態大模型的實現方式。 首先就要區分輸入與輸出，即輸入的模態 閱讀全文

摘要： 轉載請注明住處：http://www.rzrgm.cn/zhiyong-ITNote 概述 ShareGPT格式的數據集中，一般是如下格式： [ { "conversations": [ { "from": "human", "value": "I saw a dress that I li 閱讀全文

摘要： 轉載請注明出處：http://www.rzrgm.cn/zhiyong-ITNote 近來，工作偏向于心理醫療領域方面的大模型，僅從領域大模型的落地，聊聊個人的一些思考。 硬件 準備好花錢買GPU。 領域大模型 業務場景的思考 首先需要審視斟酌業務領域的特殊性與可行性，我們要做的是心理領域， 閱讀全文

摘要： 轉載請注明出處：http://www.rzrgm.cn/zhiyong-ITNote 參考現有的中文醫療模型：MedicalGPT、CareGPT等領域模型的訓練流程，結合ChatGPT的訓練流程，總結如下： 在預訓練階段，模型會從大量無標注文本數據集中學習領域/通用知識；其次使用{有監督微 閱讀全文