用户画像,广告推荐,Data Segmentation,搜索引擎的流量推荐,恶意流量识别
基于位置信息的商业推送,新闻聚类,筛选排序
图像分割,降维,识别;离群点检测;信用卡异常消费;发掘相同功能的基因片段
一种典型的无监督学习算法,主要用于将相似的样本自动归到一个类别中 在聚类算法中根据样本之间的相似性,将样本划分到不同的类别中,对于不同的相似度计算方法,会得到不同的聚类结果,常用的相似度计算方法有欧式距离法。
聚类算法是无监督的学习算法,而分类算法属于监督的学习算法。
sklearn.cluster.KMeans(n_clusters=8) 参数: n_clusters:开始的聚类中心数量 整型,缺失值=8,生产的聚类数,即产生的质心(centroids)数
方法: estimator.fit(x) estimator.predict(x) estimator.fit_predict(x) 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
随机创建不同二维数据集作为训练集,并结合k-means算法将其聚类,你可以尝试分别聚类不同数量的簇,并观察聚类效果: 聚类参数n_cluster传值不同,得到的聚类结果不同
scikit中的make_blobs方法常被用来生成聚类算法的测试数据,直观地说,make_blobs会根据用户指定的特征数量、中心点数量、范围等来生成几类数据,这些数据可用于测试聚类算法的效果。
sklearn.datasets.make_blobs(n_samples=100, n_features=2,centers=3, cluster_std=1.0, center_box=(-10.0, 10.0), shuffle=True, random_state=None)
其中: n_samples是待生成的样本的总数。 n_features是每个样本的特征数。 centers表示类别数。 cluster_std表示每个类别的方差,例如我们希望生成2类数据,其中一类比另一类具有更大的方差,可以将cluster_std设置为[1.0,3.0]。
k-means包含两层内容: K:初始中心点个数(计划聚类数) means:求中心点到其他数据点距离的平均值
1.设置k个聚类中心点 2.计算距离,选择最近点,归类 3.计算每个类别的中心点 4.如果中心点“重合”,结束,否则,继续到第二步 通过下图解释实现流程:
1、随机设置K个特征空间内的点作为初始的聚类中心(本案例中设置p1和p2) 2、对于其他每个点计算到K个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别 3、接着对着标记的聚类中心之后,重新计算出每个聚类的新中心点(平均值)
4、如果计算得出的新中心点与原中心点一样(质心不再移动),那么结束,否则重新进行第二步过程【经过判断,需要重复上述步骤,开始新一轮迭代】 5、当每次迭代结果不变时,认为算法收敛,聚类完成,K-Means一定会停下,不可能陷入一直选质心的过程。
应用pca和K-means实现用户对物品类别的喜好细分划分
数据如下:
order_products__prior.csv:订单与商品信息 字段:order_id, product_id, add_to_cart_order, reordered products.csv:商品信息 字段:product_id, product_name, aisle_id, department_id orders.csv:用户的订单信息 字段:order_id,user_id,eval_set,order_number,…. aisles.csv:商品所属具体物品类别 字段: aisle_id, aisle
分析: 1.获取数据 2.数据基本处理 2.1 合并表格 2.2 交叉表合并 2.3 数据截取 3.特征工程 — pca 4.机器学习(k-means) 5.模型评估 sklearn.metrics.silhouette_score(X, labels) 计算所有样本的平均轮廓系数 X:特征值 labels:被聚类标记的目标值