摘要:
中文分詞是NLP中一個獨特且富有挑戰性的任務,因為中文文本沒有像英文空格那樣的天然詞語邊界。 現代分詞器模型(尤其是基于Transformer的模型如BERT、GPT等使用的中文分詞器)主要采用子詞分詞算法,但其處理方式與英文有顯著不同。 特性傳統中文分詞器 (如Jieba, HanLP)現代模型分
閱讀全文
摘要:
Hugging Face Hugging Face 是一個開源的機器學習平臺和社區。 庫名稱主要功能官方資源/文檔鏈接 Transformers 🤗 提供數千個預訓練模型,用于自然語言處理(NLP)、語音識別、計算機視覺等任務。 https://huggingface.co/docs/transf
閱讀全文
摘要:
預訓練(基礎知識廣泛學) 微調(具體實操崗前學) 后訓練(RLHF專業領域深入學) 策略模型、參考模型、價值模型、獎勵模型 策略模型:待后訓練的大模型 參考模型:初始的策略模型。 獎勵模型(RM):目標是刻畫模型的輸出是否在人類看來表現不錯。即,輸入 [提示(prompt),模型生成的文本] ,輸出
閱讀全文