dbscan-dbscan聚类算法

老铁们，大家好，相信还有很多朋友对于dbscan-dbscan聚类算法和的相关问题不太懂，没关系，今天就由我来为大家分享分享dbscan-dbscan聚类算法以及的问题，文章篇幅可能偏长，希望可以帮助到大家，下面一起来看看吧！

一位少年的天文梦PAZ的天文探索之旅始于童年。当他上小学时，他的母亲经常带他参加美国加利福尼亚理工学院的公共明星注视讲座，探索星空的种子是在他心中种植的。 2022年，他加入了由天文学教授安德鲁·霍华德（Andrew Howard）领导的加利福尼亚理工学院发现者学院夏季计划，以系统地学习天文学知识。次年，他参加了CALTECH六周的夏季研究联系计划，该计划旨在将当地的高中学生与校园研究教师联系起来。正是在此期间，他遇到了戴维·柯克帕特里克（Davy Kirkpatrick），后者对他的科学研究生涯产生了重大影响。

Kirkpatrick是加利福尼亚理工学院红外加工和分析中心的高级科学家。 “我很幸运见到戴维。我记得第一天和他聊天，这是一个短期项目的重要目标。但是他没有打我，但鼓励我更深入地走。他给了我很大的学术自由，这对我作为科学家的成长至关重要。”柯克帕特里克本人也从好老师那里受益，并说：“我希望通过这项指导来帮助更多有潜在的年轻人实现他们的科学梦想。”

柯克帕特里克（Kirkpatrick）分配给帕兹（Paz）的任务致力于挖掘国家航空航天局（National Aeronautics and Space Administration）已退休的“新型”任务积累的大量数据。

自2009年以来，Neowise望远镜（以前是明智的）在红外频段扫描了整整一天，主要是寻找近地的天体，例如小行星和彗星，并捕获了许多遥远的宇宙天体的红外辐射变化。这些天体由于亮度的变化而称为“可变物体”，包括爆炸性超新星，脉动可变恒星，黯然失色的二进制恒星和类星体。它们的光变化曲线包含有关天体物理过程，宇宙距离甚至宇宙进化的关键信息。 Neowise在十多年来积累了近200吨（TB）的数据，其中包括约2000亿个单一暴露记录。

图|明智的航天器的概念图（来源：NASA）

但是，从如此巨大的数据集中筛选可变来源是在用于传统人工方法的干草堆中找到针头的障碍。柯克帕特里克（Kirkpatrick）最初只希望帕兹（Paz）尝试分析一小块天空区域作为概念证明。但是，帕兹（Paz）对AI选修课的兴趣和在帕萨迪纳（Pasadena）统一数学学院（他完成了八年级的AP微积分课程）奠定了坚实的数学基础，因此敏锐地意识到，AI是解决此问题的关键，并决定开发一种机器学习模型来自动化整个数据集的分析。

在夏季项目的短短六个星期内，帕兹不仅构思并最初实施了一个名为Varnet的人工智能模型，而且还与Caltech的Kirkpatrick和其他天文学家进行了深入的交流，例如Shoubaneh Hemmati，例如Daniel Masters，Daniel Masters，Ashish Mahabal和Ashish Mahabal和Matthew Graham知识，了解了相关的天文学知识，还可以察觉到限制性的知识，以限制了限制性的知识。某些类型的可变来源。夏季项目结束后，研究并没有停止。 2024年，PAZ继续与Kirkpatrick合作，Kirkpatrick不断优化Varnet模型，使其能够从Neowise处理所有原始数据。最终，该模型在对超过 4.5 亿个天体进行筛选后，从约 190 万个可能的变源中，确认了 150 万个此前未被编目的新发现。VARnet 模型：AI 赋能天文新发现PAZ的纸《一种基于亚毫秒傅里叶和小波的模型，用于从 NEOWISE 单次曝光数据库中提取候选变源》（一种基于亚略加傅立叶和小波的模型，可从Neowise单曝光数据库中提取可变候选者），详细介绍Varnet的技术细节。

图|相关论文（来源：天文学杂志）

VARNET是一种信号处理模型，旨在快速分析天文学时间序列数据。该模型的核心是将多种信号处理技术和深度学习方法整合起来，以从嘈杂的，不规则的光曲线（图片描绘了天体亮度随时间变化）中提取有效的信息，并具有极高的效率。首先，他使用DBSCAN聚类算法来收集属于同一天体的分散观察点。然后仔细预处理收集的数据：将幅度转换为线性流量，减去中位数以关注相对变化，使用四分位间范围来归一化以抵抗异常值，并最终使用逆双曲线正弦函数压缩数据范围，同时将时间戳标准化。

图|异常提取过程（来源：天文学杂志）

Varnet模型本身是一个深度神经网络，其架构中具有各种技术。它使用离散的小波转换进行时间频率分析，这有助于降低并捕获短频率的细节变化曲线的变化，例如过境事件的快速下降。 PAZ还提出了“有限的傅立叶变换”（FEFT，有限的傅立叶变换）。与标准的傅立叶变换不同，FEFT可以将任意长度的输入时间序列映射到固定长度的特征向量，这对于处理具有巨大长度差异的新数据至关重要。

更重要的是，FEFT 能让网络在训练中自适应地学习选择最重要的频率信息进行嵌入，有效捕捉光变曲线中持续时间较长的周期性或趋势性变化。卷积神经网络用于学习和识别光变曲线中的时序模式，例如特定形状，例如亮度上升，下降和亮度。最后，FC层负责从不同的处理模块（时域，频域，不同尺度）中整合所有特征信息，并做出最终分类判断以确定天体是否属于预设类别，例如静态，瞬态，脉冲，脉冲或过境星。

图| Varnet模型体系结构（来源：天文杂志）

训练这样的复杂模型需要大量标记的数据，但是Neowise数据中已知和准确的变量星的数量相对不足，尤其是瞬态对象。为此，Paz 采用了生成合成数据的策略。他为四种主要天体类别构建了数学模型，不仅模拟了光变曲线的典型形状（如瞬变的爆发与衰减、脉动的复杂波形、凌星的周期性下降），还精确地复现了 NEOWISE 的不规则采样节奏和真实的噪声水平。通过随机化模型参数，其能生成几乎无限量的、高度逼真的合成光变曲线用于训练 VARnet。此方法大大提高了模型的概括能力，而实际已知变量恒星数据则保留以进行最终模型性能验证。

Varnet表现非常出色。在真实的红外源验证集上，它对四种天体类别的分类 F1 分数达到了 0.91。在区分“真实变化”与“无变化/噪声”这个更基础的任务上，其精确率和召回率均超过 97%，F1 分数高达 0.974，显示出极高的可靠性。在高性能 GPU 支持下，分析单个天体源的平均耗时低于 53 微秒。150 万个新发现的意义PAZ发现的150万“候选”可变来源对研究宇宙的演变和基本物理定律具有重要意义。 Paz在发表的论文中引用了Varnet发现的一些特定案例，以证明其强大的检测能力。

例如，Varnet发现了位于J2000坐标为18H53M48.3S的胎儿Bistar的先前未经ATALOGUE候选者，下降-590875.1\’\’，通过后续分析，其周期确定为约5.877天。

（来源：天文学期刊）

另一个重要发现是二进制星系2MASS J01542169-5944445的分离。该系统位于J2000上升/偏移28.59051，-59.74571以前被记录为Galah Sky Sumpery的第三个数据发布中的化学特异性恒星，但从未被确定为可变源对象。 Varnet发现其显着的过境信号，大约为5.8061天，并且可能有一个伴随恒星影响其化学成分。

在研究糖外靶标时，Varnet同样有能力。例如，它检测到Galaxy Leda 174461的微弱但显着的亮度变化，以及在Galaxy Leda 358365中发生的瞬态事件，该事件与2023LKP的超新星相匹配。同时，它还标志着Galaxy Leda 340305的主动星系核所显示的亮度显着增加。这些具体发现不仅验证了VARNET的检测准确性和广度，而且还为后续详细研究提供了直接目标。

（来源：天文学期刊）

这些新发现的“标准烛光”（如造父变星）可能为解决当前的“哈勃常数危机”提供关键线索。而大量超新星、黑洞和双星系统候选者，则为研究恒星演化、元素起源、星系形成以及极端物理条件下的物质行为提供了前所未有的样本库。为了使这些发现能被更广泛的天文学界利用，Paz和他的导师被整理成一个名为Varwise的公共明星目录。加州理工学院的红外研究团队已开始使用目录来研究遥远宇宙中的二元星系。他们发现了数十个先前未发现的二进制星系。 Kirkpatrick补充说，这项研究还有助于计算远处的系外行星的质量。

图| Matteo Paz在2023年的研讨会上介绍了他的项目的初步工作（来源：Kitty Cahalan）

值得一提的是，Varnet也有望在天文学之外发挥作用。帕兹解释说：“我实施的模型可用于天文学的其他时间域研究，以及在时间序列格式中出现的任何数据。” “我可以看到它与信息也存在于时间序列的图表（股票市场）的分析以及定期组件可能至关重要的相关性。

但是目前，帕兹希望利用他的新发现发现来探讨困扰天文学界长期困扰的宇宙扩张率的问题。 “这要么有助于解决当前研究中一个非常有争议的话题，要么将揭示有关宇宙起源真正基本的东西。”

参考：

1.https://iopscience.iop.org/article/10.3847/1538-3881/ad7fe6fe6#ajad7fe6s4

2.https://www.caltech.edu/about/news/exploring-space-with-ai

3.https://scitechdaily.com/teen-wins-250k-for-rising-ai-ai-ai-d-divesover-1-50万hidden-hidden-objects-in-space/

操作/类型：他钦隆

轻松理解机器学习算法：DBSCAN算法

1。准备知识

密度聚类方法的核心是将样品添加到最近的簇中，只要样品的密度大于一定阈值。该算法的优点是可以发现任何形状的聚类，并且对噪声数据不敏感。但是，计算密度单元的计算复杂性很高，需要空间索引来减少计算量。

2。dbscan算法核心

DBCSAN（基于密度的噪声应用程序的空间聚类）是一种相对代表性的基于密度的聚类算法。它将簇定义为最大的密度连接点，可以将足够高密度的区域划分为簇，并且可以在具有“噪声”的数据中找到任意形状的簇。

3。几个重要概念

1）对象的视场：给定对象的半径内的区域。

2）核心对象：对于给定数量的M，如果对象的字段至少包含M对象，则该对象称为核心对象。

3）直接密度是可达到的：给定对象集D，如果P在Q和Q的-Field内部是一个核心对象，则可以直接从对象Q到达对象P。

如图=1，m=5，q是一个核心对象，然后从q到对象p可以直接达到核心对象。

4）密度可到达：如果有一个对象链P1P2·Pn，p1=q，pn=p，对于PiD（1in），则可以从pi和m中从PI到达Pi+1，则可以从和M中达到对象P，从Q和M密度达到对象P。

5）密度连接：如果集合中存在一个对象O，则可以从O到和M密度的O到O的对对，则对象P和Q相对于和M密度连接。

6）群集：基于密度的群集是由最大密度连接的对象集。

7）噪声：任何群集中未包含的对象称为噪声。

4。dbscan算法步骤

下图有几个点，包括四个点A，B，C和N。根据此图，我们将解释DBSCAN算法的步骤：

1) First select point A as the entry point, set to the radius of the circle in the figure, and set the number of objects m (minPts) to 4. From the figure, we can see that the domain of point A contains 4 objects (which also contain itself) greater than or equal to m (minPts), then a new cluster of A is created as the core object, and other points in the cluster are (temporarily) marked as edge points.

2）从标记的边缘点选择一个点，然后重复上述步骤，以查找并将对象与可直接密度的核心对象合并。递归递归上述算法，用于临时标记的边缘点，直到在群集中无法更新新点为止。这形成一个以a开头的群集，这是图中的红色中心点和黄色边缘点。

3）如果仍然有一些未经处理，则会生成一个新类别来重新启动算法过程。遍历所有数据，如果某些点既不是边缘也不是中心点，则将其标记为噪声。

5。DBSCAN算法的优点和缺点

优点：

无需确定簇的数量；可以找到任何形状的簇；可以有效地处理噪声；对数据输入顺序不敏感；参数可以由域专家设置。缺点：