Параллельная реализация метода опорных векторов в моделях с общей и распределённой памятью
DOI:
https://doi.org/10.24160/1993-6982-2026-2-174-181Ключевые слова:
метод опорных векторов, классификация данных, интеллектуальный анализ данных, параллельные вычисления, OVO–SVMАннотация
В настоящее время метод опорных векторов (англ. Support Vector Machine, SVM), предложенный советскими математиками В.Н. Вапником и А.Я. Червоненкисом, является одним из самых популярных алгоритмов бинарной классификации данных. Для использования бинарных алгоритмов в задаче классификации существуют два подхода: One-vs-all (OVA) и One-vs-one (OVO). Суть OVA состоит в том, что бинарные классификаторы строятся по числу классов, и все классификаторы обучаются различать каждый класс от остальных. В OVO создается отдельный классификатор для каждой пары классов. OVO лучше справляется с несбалансированными данными и точнее разделяет классы, но у него есть недостаток — квадратичная зависимость числа классификаторов от количества классов. Следовательно, очень важно иметь программные решения, которые позволят максимально использовать возможности вычислительной системы.
Рассмотрена проблема распараллеливания метода опорных векторов в моделях вычислений моделях с общей и распределенной памятью с использованием технологий параллельного программирования OpenMP, oneTBB и MPI. Анализируемая задача актуальна для создания высокопроизводительных информационных систем (ИС) управления технологическими процессами, в частности, интеллектуальных систем поддержки принятия решений реального времени (ИСППР РВ). Результаты работы свидетельствуют о высокой эффективности использования модели вычислений с распределенной памятью и технологии MPI для реализации модификации метода OVO–SVM.
Библиографические ссылки
1. Eremeev A.P., Kozhukhov A.A., Gerasimova A.E. Implementation of the Real-Time Intelligent System Based on the Integration Approach // Advances in Intelligent Systems and Computing. 2020. V. 1156. Pp. 9—11.
2. Mikhaylov I.S. e. a. Data Mining Methods Application to Solve the Oil and Gas Flow Regimes of Oil Well Production Classification Problem // Lecture Notes in Networks and Systems. 2024. V. 1209. Pp. 5—38.
3. Полянин Л.Н., Дробков В.П. Прикладная гидромеханика восходящих газожидкостных потоков. М.: Энергоатомиздат, 2004.
4. Zayar A., Mikhaylov I.S., Ye T.A. The Support Vector Method for Solving the Classification Problem with Domain Constraints // Proc IV Intern. Conf. Intelligent Computing and Control Systems. Madurai, 2020. Pp. 32—36.
5. Вапник В.Н., Червоненкис А.Я. Об одном классе алгоритмов обучения распознаванию образов // Автоматика и телемеханика. 1964. № 25(6). С. 937—945.
6. Berwick R. An Idiot’s Guide to Support Vector Machines (SVMs) [Электрон. ресурс] https://archive.org/stream/supportvectormachines/support%20vector%20machines_djvu.txt (дата обращения 22.08.2005).
7. Nefedov A. Support Vector Machines: а Simple Tutorial [Электрон. ресурс] https://sustech-cs-courses.github.io/IDA/materials/Classification/SVM_tutorial.pdf (дата обращения 22.08.2005).
8. Kuhn H.W., Tucker A.W. Nonlinear Programming // Proc. Second Berkeley Symp. Mathematical Statistics and Probability. 1950. V. 1. Pp. 481—492.
9. Platt J.C. Sequential Minimal Optimization: a Fast Algorithm for Training Support Vector Machines. Techn. Rep. MSR-TR-98-14. 1998.
10. Brereton R.G., Lloyd G.R. Support Vector Machines for Classification and Regression // Analyst. 2010. V. 135(2). Pp. 230—267.
11. Hsu C.W., Lin C.J. A Comparison of Methods for Multiclass Support Vector Machines // IEEE Trans. Neural Networks. 2002. V. 13(2). Pp. 415—425.
12. Weston J. e. a. Support Vector Machines for Multi-class Pattern Recognition // Esann. 1999. V. 99. Pp. 219—224.
13. Zhang C., Li P., Rajendran A., Deng Y., Chen D. Parallelization of Multicategory Support Vector Machines (PMC — SVM) for Classifying Microarray Data // BMC Bioinformatics. 2006. V. 7(S4). P. S15.
14. Qian L., Hung T. Parallel SVM for Large Data-set Mining // WIT Trans. Information and Communication Technol. 2003. V. 29. P. 030631.
15. Tyree S. e. a. Parallel Support Vector Machines in Practice [Электрон. ресурс] https://arxiv.org/pdf/1404.1066 (дата обращения 22.08.2005).
16. Chih-Chung Chang, Chih-Jen Lin. LIBSVM: a Library for Support Vector Machines // ACM Trans. Intelligent Systems and Technol. 2011. V. 2(3). Pp. 1—27.
17. Fernandes J.P. e. a. Energy Efficiency Across Programming Languages: How do Energy, Time and Memory Relate? // Proc. X Intern. Conf. Software Language Eng. 2017. Pp. 256—267.
18. Nanz S., Furia C.A. A Comparative Study of Programming Languages in Rosetta Code // Proc. 37th IEEE Intern. Conf. Software Eng. 2014.
19. Mirka M. e. a. Automatic Energy-efficiency Monitoring of OpenMP Workloads // Proc. XIV Intern. Symp. Reconfigurable Communication-centric Systems-on-chip. York, 2019. Pp. 43—50.
20. Савинкова Ю.В., Востокин С.В. Применение потокового пула для реализации параллельных алгоритмов с семантикой передачи сообщений на языке С++ // Перспективные информационные технологии: Труды Междунар. науч.-техн. конф. Самара: Изд-во Самарского научного центра РАН, 2015. C. 35—36.
21. Voss M., Asenjo R., Reinders J. Pro TBB. Berkeley: Apress, 2019.
22. Moraru M e. a. Performance Improvements of Parallel Applications Thanks to MPI-4.0 Hints // Proc. 34th Intern. Symp. Computer Architecture and High Performance Computing. Bordeaux, 2022. Pp. 273—282.
23. GitHub — KlimentLagrangiewicz/used-datasets [Электрон. ресурс] https://github.com/KlimentLagrangiewicz/used-datasets (дата обращения 15.09.2025).
24. Branco P., Torgo L., Ribeiro R.P. A Survey of Predictive Modeling on Imbalanced Domains // ACM Comput. Surv. 2016. V. 49(2). P. 31.
25. OneVsOneClassifier — scikit-learn 1.7.2 Documentation [Электрон. ресурс] https://scikit-learn.org/stable/modules/generated/sklearn.multiclass.OneVsOneClassifier.html (дата обращения 05.10.2025).
---
Для цитирования: Задорин С.А., Михайлов И.С., Чернецов А.М. Параллельная реализация метода опорных векторов в моделях с общей и распределённой памятью // Вестник МЭИ. 2026. № 2. С. 174—181. DOI: 10.24160/1993-6982-2026-2-174-181
---
Работа выполнена при поддержке Российского научного фонда (проект № 24-11-00285), https://rscf.ru/project/24-11-00285/
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Eremeev A.P., Kozhukhov A.A., Gerasimova A.E. Implementation of the Real-Time Intelligent System Based on the Integration Approach. Advances in Intelligent Systems and Computing. 2020;1156:9—11.
2. Mikhaylov I.S. e. a. Data Mining Methods Application to Solve the Oil and Gas Flow Regimes of Oil Well Production Classification Problem. Lecture Notes in Networks and Systems. 2024;1209:5—38.
3. Polyanin L.N., Drobkov V.P. Prikladnaya Gidromekhanika Voskhodyashchikh Gazozhidkostnykh Potokov. M.: Energoatomizdat, 2004. (in Russian).
4. Zayar A., Mikhaylov I.S., Ye T.A. The Support Vector Method for Solving the Classification Problem with Domain Constraints. Proc IV Intern. Conf. Intelligent Computing and Control Systems. Madurai, 2020:32—36.
5. Vapnik V.N., Chervonenkis A.Ya. Ob Odnom Klasse Algoritmov Obucheniya Raspoznavaniyu Obrazov. Avtomatika i Telemekhanika. 1964;25(6):937—945. (in Russian).
6. Berwick R. An Idiot’s Guide to Support Vector Machines (SVMs) [Elektron. Resurs] https://archive.org/stream/supportvectormachines/support%20vector%20machines_djvu.txt (Data Obrashcheniya 22.08.2005).
7. Nefedov A. Support Vector Machines: а Simple Tutorial [Elektron. Resurs] https://sustech-cs-courses.github.io/IDA/materials/Classification/SVM_tutorial.pdf (Data Obrashcheniya 22.08.2005).
8. Kuhn H.W., Tucker A.W. Nonlinear Programming. Proc. Second Berkeley Symp. Mathematical Statistics and Probability. 1950;1:481—492.
9. Platt J.C. Sequential Minimal Optimization: a Fast Algorithm for Training Support Vector Machines. Techn. Rep. MSR-TR-98-14. 1998.
10. Brereton R.G., Lloyd G.R. Support Vector Machines for Classification and Regression. Analyst. 2010;135(2):230—267.
11. Hsu C.W., Lin C.J. A Comparison of Methods for Multiclass Support Vector Machines. IEEE Trans. Neural Networks. 2002;13(2):415—425.
12. Weston J. e. a. Support Vector Machines for Multi-class Pattern Recognition. Esann. 1999;99:219—224.
13. Zhang C., Li P., Rajendran A., Deng Y., Chen D. Parallelization of Multicategory Support Vector Machines (PMC — SVM) for Classifying Microarray Data. BMC Bioinformatics. 2006;7(S4). P. S15.
14. Qian L., Hung T. Parallel SVM for Large Data-set Mining. WIT Trans. Information and Communication Technol. 2003;29:030631.
15. Tyree S. e. a. Parallel Support Vector Machines in Practice [Elektron. Resurs] https://arxiv.org/pdf/1404.1066 (Data Obrashcheniya 22.08.2005).
16. Chih-Chung Chang, Chih-Jen Lin. LIBSVM: a Library for Support Vector Machines. ACM Trans. Intelligent Systems and Technol. 2011;2(3):1—27.
17. Fernandes J.P. e. a. Energy Efficiency Across Programming Languages: How do Energy, Time and Memory Relate? Proc. X Intern. Conf. Software Language Eng. 2017:256—267.
18. Nanz S., Furia C.A. A Comparative Study of Programming Languages in Rosetta Code. Proc. 37th IEEE Intern. Conf. Software Eng. 2014.
19. Mirka M. e. a. Automatic Energy-efficiency Monitoring of OpenMP Workloads. Proc. XIV Intern. Symp. Reconfigurable Communication-centric Systems-on-chip. York, 2019:43—50.
20. Savinkova Yu.V., Vostokin S.V. Primenenie Potokovogo Pula dlya Realizatsii Parallel'nykh Algoritmov s Semantikoy Peredachi Soobshcheniy na Yazyke S++. Perspektivnye Informatsionnye Tekhnologii: Trudy Mezhdunar. Nauch.-tekhn. Konf. Samara: Izd-vo Samarskogo Nauchnogo Tsentra RAN, 2015:35—36. (in Russian).
21. Voss M., Asenjo R., Reinders J. Pro TBB. Berkeley: Apress, 2019.
22. Moraru M e. a. Performance Improvements of Parallel Applications Thanks to MPI-4.0 Hints. Proc. 34th Intern. Symp. Computer Architecture and High Performance Computing. Bordeaux, 2022:273—282.
23. GitHub — KlimentLagrangiewicz/used-datasets [Elektron. Resurs] https://github.com/KlimentLagrangiewicz/used-datasets (Data Obrashcheniya 15.09.2025).
24. Branco P., Torgo L., Ribeiro R.P. A Survey of Predictive Modeling on Imbalanced Domains. ACM Comput. Surv. 2016;49(2):31.
25. OneVsOneClassifier — scikit-learn 1.7.2 Documentation [Elektron. Resurs] https://scikit-learn.org/stable/modules/generated/sklearn.multiclass.OneVsOneClassifier.html (Data Obrashcheniya 05.10.2025)
---
For citation: Zadorin S.A., Mikhailov I.S., Chernetsov A.M. Parallel Implementation of the Support Vector Machine in Models with Shared and Distributed Memory. Bulletin of MPEI. 2026;2:174—181. (in Russian). DOI: 10.24160/1993-6982-2026-2-174-181
---
The Work was Supported by the Russian Science Foundation (Project No. 24-11-00285), https://rscf.ru/project/24-11-00285/
---
Conflict of interests: the authors declare no conflict of interest
