sunshine丶23

摘要： 文本相似度任務： 最近接到文本結構化的任務，經過一番實驗發現，可將該任務轉化為計算標題檢索排序任務，可用文本相似度的方法來做。文本相似度計算可直接根據文本本身計算距離來得到或使用模型將語義向量化后再計算距離得到。 一、根據文本本身計算相似度： 1）余弦相似度 import numpy as np f 閱讀全文

摘要： albert相對BERT而言主要有三個改進方向： 1、對Embedding因式分解 在BERT中，詞向量維度E和隱層維度H是相等的。而詞嵌入學習的是單詞與上下文無關的表示，而隱層則是學習與上下文相關的表示。顯然后者更加復雜，需要更多的參數，也就是說模型應當增大隱層大小 ，或者說滿足 。在實際中，詞表 閱讀全文

摘要： StructBERT模型是達摩院提出的Bert系列模型，相比BERT模型而言，主要增加了兩個預訓練任務來提升模型性能： 1、Word Structural Objective Word Structural Objective是從未被遮掩的序列中以5%的幾率選擇部分長度為3子序列，將子序列中的詞序打 閱讀全文

摘要： 之前學習了隱馬爾可夫模型，現在記錄一下條件隨機場。本文主要參考了《統計學習方法》，如有錯誤，請各位多多指教 1、什么是條件隨機場 首先我們先了解什么是隨機場。 在概率論中，隨機場的定義為：由樣本空間Ω = {0, 1, ..., G ? 1}n取樣構成的隨機變量Xi所組成的S = {X1, ..., 閱讀全文

摘要： Transformer模型由《Attention is All You Need》提出，有一個完整的Encoder-Decoder框架,其主要由attention(注意力)機制構成。論文地址：https://arxiv.org/abs/1706.03762。 其整體結構如圖所示： 模型分為編碼器（E 閱讀全文

摘要： 本文主要參考了《統計學習方法》及https://github.com/aespresso/a_journey_into_math_of_ml 請各位大佬多多指正。 隱馬爾可夫模型(hidden Markov model, HMM)描述由隱藏的馬爾可夫鏈隨機生成觀測序列的過程，屬于生成模型?？捎糜谧詣? 閱讀全文

摘要： 最近項目需要對部分python文件加密，調研了部分方法都覺得不可行，最后采用了將python轉換成so文件、pyd文件的方法。so文件，為liunx下的動態鏈接庫文件，在windows下為dll文件，pyd文件是Python的動態模塊，實質是dll文件，反編譯難度較大，應該可以達到加密的效果。 安裝 閱讀全文