【機器學習筆記五】聚類 - k均值聚類

參考資料：

【1】Spark Mlib 機器學習實踐

【2】機器學習

【3】深入淺出K-means算法 http://www.csdn.net/article/2012-07-03/2807073-k-means

一、概念

K-means聚類是在無監督的情況下，將樣本數據進行聚類。以2均值聚類的算法為例：

1、在樣本中選擇兩個初始化中心點；

2、計算所有樣本到這兩個中心點的距離，并以此為基準將樣本分為兩類；

3、將中心點移到這類樣本的新中心點；

4、重復2、3步驟直到滿足要求；

K-means也提供一種k維的one-hot編碼，即當x屬于聚類i時，那么對應的編碼向量為1，否則為0

二、距離

K-means的計算依賴樣本之間的距離計算，通常有如下幾種：

三、Spark Mlib下例子

package kmean

import org.apache.spark.mllib.clustering.KMeans
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.{SparkContext, SparkConf}

/*-
 * kmean聚類
 * Fredric 2017
 */
object kmean {
  def main(args:Array[String]): Unit ={

    val conf = new SparkConf().setMaster("local").setAppName("kmean")
    val sc   = new SparkContext(conf)

    //每一個向量代表特征空間中的一個點
    val v0  = Vectors.dense(1)
    val v1  = Vectors.dense(2)
    val v2  = Vectors.dense(3)
    val v3  = Vectors.dense(4)

    val v4  = Vectors.dense(11)
    val v5  = Vectors.dense(25)
    val v6  = Vectors.dense(31)

    val data = sc.parallelize(Seq(v0, v1, v2, v3, v4, v5, v6))

    //setK表示最后聚類的分組數量是2，分成2組
    val model = new KMeans().setMaxIterations(20).setK(2).run(data)

/*
    輸出的兩個中心點如下：
    [4.2]
    [28.0]*/
    model.clusterCenters.foreach(println)
  }
}

posted @ 2018-03-06 21:27 Fredric_2013 閱讀(309) 評論(0) 收藏舉報

刷新頁面返回頂部

【機器學習筆記五】聚類 - k均值聚類

公告