大數據相關知識：

• 文本編碼：將人類可讀的文本轉換為機器可理解的數值向量表示，這是所有文本分析任務的基礎。

  • 常用方法包括獨熱編碼、詞嵌入 (如Word2Vec、GloVe等靜態詞向量)以及基于預訓練模型的上下文詞嵌入(如BERT、GPT等動態詞向量)。

  • 本項目的Baseline方案采用了經典的TF-IDF編碼方法。

• 文本分類：根據文本內容將其自動歸類到預定義類別。

  • 本項目中的情感分析屬于多維度文本分類任務，需要識別評論的情感傾向(正面/負面/中性等)以及是否涉及用戶場景、疑問或建議等屬性。

  • 常用方法包括基于規則和詞典的方法、傳統機器學習方法(如樸素貝葉斯、支持向量機SVM等)以及深度學習方法(如循環神經網絡RNN、卷積神經網絡CNN、Transformer等) 。

  • Baseline方案使用了線性分類器((如SGDClassifier) 進行文本分類。

• 文本聚類：根據文本內容的相似性自動將文本分組，無需預先定義類別。

  • 本項目要求按商品對指定維度的評論進行聚類，并提煉每類的主題詞。

  • 常用聚類算法包括K-Means(需預設簇數K)、層次聚類、DBSCAN等。

  • Baseline采用了K-Means算法進行聚類。

  • 聚類效果通常用輪廓系數等指標衡量，其值越接近1表示聚類效果越好。

• 大模型與高級技術：隨著技術發展，大型預訓練語言模型(LLM) 在NLP任務中表現突出。

  • Baseline也提及可以利用大模型的零樣本/少樣本學習能力，在標注數據有限時完成任務；

  •  或通過微調預訓練模型來更好地適應本任務。

  • 此外，還可使用預訓練模型提供的API接口獲取文本向量表示，用于后續的分類或聚類。

  • 這些高級技術為提升模型性能提供了思路。