Оценка результатов применения алгоритмов снижения размерности для предсказания эффективности кластеризации

Аннотация

Исследована возможность оценки эффективности различных методов снижения размерности до этапа кластеризации многомерных данных. Основное внимание уделено анализу того, насколько хорошо данные, прошедшие через разные алгоритмы снижения размерности, подходят для последующей кластеризации.

В рамках работы использованы различные алгоритмы снижения размерности (PCA, Isomap, Locally Linear Embedding, MDS, Spectral Embedding, T-SNE и UMAP) на четырёх наборах многомерных спектров бензинов. Результаты снижения размерности оценены с помощью коэффициента силуэта кластера (SC) и индекса Дэвиса-Боулдина (DBI). После этого выполнены кластеризация оценённых данных с применением различных алгоритмов (DBSCAN, HDBSCAN, K-Means, Spectral Clustering) и оценка кластеризации с помощью скорректированного индекса Рэнда (ARS). Затем проведено сравнение, насколько соответствуют друг другу оценки кластеризации и снижения размерности.

Удалось достоверно оценить большинство алгоритмов снижения размерности с помощью коэффициента силуэта кластера и индекса Дэвиса–Боулдина. Наиболее точные результаты дали метрики Чебышёва, евклидова, манхэттенская и квадратная евклидова. Также два наиболее эффективных алгоритма T-SNE и UMAP оказались единственными алгоритмами, которые удалось оценить с помощью оценки DBI.

Полученные данные могут быть использованы для выбора оптимального алгоритма снижения размерности перед выполнением кластеризации многомерных данных, а также для оценки качества предварительной обработки данных.

Успешно продемонстрирована корреляция между оценками методов снижения размерности и эффективностью последующей кластеризации. Алгоритмы T-SNE и UMAP показали наилучшие результаты по оценке, а метрики Чебышёва, евклидова, манхэттенская и квадратная евклидова дали наиболее точные результаты для этих алгоритмов.