CLIMB自举框架：基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用 CLIMB框架是一种创新的基于聚类的迭代式数据混合自举方法，专为优化LLM预训练数据混合而设计。CLIMB通过自动化数据混合的发现、评估与优化过程，以明确的性能指标为目标改进了大规模预训练效果。通过结合无监督聚类、代理模型训练和性能预测技术，CLIMB能够高效地探索庞大的数据组合空间，无需依赖预定义的领域标签或大量人工干预即可构建最优的领域感知混合策略。实验结果表明，使用CLIMB优化的数据混合训练的350M和1B参数规模模型，在12项推理任务上均达到了当前最先进的性能水平。

阅读 4.4k

27赞

收藏 31
R语言统计分析——围绕中心点的聚类（PAM） 格式是pam(x,k,metric="euclidean",stand=FALSE)，这里的x表示数据矩阵或数据框，k表示聚类的个数，metric表示使用的相似性/相异性的度量，而stand是一个逻辑值，表示是否有变量应该在计算该指标之前被标准化。与其用质心（变量均值向量）表示类，不如用一个最有代表性的观测值来表示（成为中心点）。（8）如果总成本比步骤（4）计算的总成本少，把新的点作为中心点。（4）计算每个中心点到每个观测值的距离中和（总成本）（9）重复步骤（5）~（8）直到中心点不在改变。

阅读 421

5赞

收藏 10
【机器学习】任务七：聚类算法 （K-means 算法、层次聚类、密度聚类对鸢尾花（Iris）数据进行聚类） K-Means：适合规则分布的大规模数据，快速聚类。层次聚类：适合小规模数据和需要层次结构的场景，如基因分析或市场细分。DBSCAN：适合处理复杂形状簇和含有噪声的数据，如地理空间数据或异常检测。距离和相似度度量：用于选择合适的距离度量方式，根据数据的特征进行优化选择。这些算法在不同的应用场景中表现各异，建议根据数据特点选择合适的算法。如果有其他问题或需要深入探讨，可以随时提问！这段代码实现了对鸢尾花数据集的层次聚类，并通过树状图可视化了数据点的合并过程。

阅读 5.5k

51赞

收藏 91
使用CiteSpace软件对知网文献进行关键词共现/聚类/突现分析 一、基本概念CiteSpace（引文空间）是一款专注于分析科学分析中蕴含的潜在知识的软件。它是在科学计量学、数据可视化背景下逐渐发展起来的引文可视化分析软件。通过可视化的手段，CiteSpace能够呈现科学知识的结构、规律和分布情况，并因此将这种分析得到的可视化图形称为“科学知识图谱”。二、主要功能和用途知识图谱构建：根据科学文献的引用关系，CiteSpace可以生成知识图谱，帮助研究人员更好地理解学术领域中不同文献之间的联系和演化过程。主题聚类分析。

阅读 1.6w

73赞

收藏 91
【鲁棒优化】基于联合聚类和定价的鲁棒功率控制方法（Matlab代码实现） 文献来源：智能和绿色城市对车载网络的频谱效率（SE）和能源效率（EE）提出了严格的要求。对于当前的车载自组织网络（VANET），车辆的移动性导致快速的拓扑结构变化和高度的信道不确定性。然而，独立研究了用于建立稳定簇的聚类方案和对抗信道波动的鲁棒功率控制（RPC）。本文提出了联合聚类和RPC方案来优化所涉及的VANET的SE和EE。通过相同的固定长度时隙，形成集群头（CH）的同步干扰约束，并为RPC提供条件。由于信道的随机波动，所有通道的同步干扰约束都表述为概率约束。

阅读 756

26赞

收藏 16
【聚类技术】高斯混合模型聚类 高斯混合模型（GMM）是一种基于概率的聚类算法，它通过假设数据是由多个高斯分布（正态分布）混合组成的来对数据进行建模。与K均值聚类不同，GMM能够为每个数据点提供一个属于每个簇的概率值，而不仅仅是一个硬分类标签。因此，GMM不仅可以发现不同簇之间的边界，还能够处理簇内的形状不规则的情况。GMM的核心思想是通过期望最大化（EM，Expectation-Maximization）算法来估计高斯分布的参数（均值、方差和权重），从而确定最适合数据的簇模型

阅读 979

17赞

收藏 25
深入解密 K 均值聚类：从理论基础到 Python 实践 K 均值聚类是一种基于质心的聚类算法，它通过反复迭代的方式将数据点分配到 K 个聚类中。每个质心代表一个聚类的中心位置，算法会不断调整质心的位置，直到满足一定的收敛条件。K 均值聚类的目标是最小化每个聚类内部所有点到其质心的距离之和。具体来说，K 均值聚类的步骤可以概括如下：随机选择 K 个初始质心。将每个数据点分配到离它最近的质心所在的聚类。重新计算每个聚类的质心，即对聚类中的所有数据点取平均值。重复步骤 2 和 3，直到质心的位置不再发生变化，或者达到预设的迭代次数。

阅读 6.9k

103赞

收藏 94
肘部法则确定聚类数 肘部法则（Elbow Method）是一种常用于确定聚类数的技术。其基本思想是通过计算不同聚类数下的聚类质量（通常使用每个数据点到其聚类中心的距离平方和的总和，即SSE，Sum of Squared Errors），并寻找“肘部”位置来确定最佳的聚类数。：选择一个可能的聚类数范围，例如从1到K。：对于每个聚类数K，使用聚类算法（例如K-means）进行聚类，然后计算每个数据点到其对应聚类中心的距离的平方和（SSE）。通常，随着聚类数的增多，SSE会逐渐减小，因为更多的聚类能更好地拟合数据。

阅读 984

1赞

收藏 3
如何使用神经网络模型解决分类、聚类、回归和标注任务：基于 PyTorch 的实现与分析 神经网络（Neural Network, NN）是机器学习中一种广泛应用的模型，特别是在深度学习领域，它模仿了生物神经系统的工作原理，能够通过层层神经元的处理学习到数据中的复杂模式。神经网络广泛应用于分类、回归、聚类、标注等任务。本文将介绍神经元、神经网络的基本概念，并探讨如何使用神经网络解决分类、聚类、回归和标注任务。通过 PyTorch 实现相应的神经网络模型，包括代码示例和公式推导。神经网络在多个任务中展现了强大的能力，尤其是在分类、聚类、回归和标注任务中。

阅读 1.2k

31赞

收藏 40
南瓜书公式详解----第九章 (聚类，高斯混合聚类） 聚类

阅读 910

23赞

收藏 5
昇思25天学习打卡营第14天|K近邻算法实现红酒聚类 它正是基于以上思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。距离度量，反映了特征空间中两个样本间的相似度，距离越小，越相似。常用的有Lp距离（p=2时，即为欧式距离）、曼哈顿距离、海明距离等。K值，一个样本的分类是由K个邻居的“多数表决”确定的。K值越小，容易受噪声影响，反之，会使类别之间的界限变得模糊。分类决策规则，通常是多数表决，或者基于距离加权的多数表决（权值与距离成反比）。

阅读 141

2赞

收藏 0
作者推荐
slandarer
近期略忙，偶尔更新[头秃]
关注
qwer1234_567
门头沟学院在读软工学生
关注
bing_feilong
算法/CV/Python/c++
关注
Daisy_JuJuJu
一个努力发paper的左家陇职业技术学院的在读GISer博士生！！！
关注
BB_CC_DD
每日三省：今天微笑了吗？今天学习了吗？今天博文更新了吗？
关注