Нечеткие ситуационные сети с адаптацией на основе обучения с подкреплением
Ключевые слова:
ситуационное управление, нечеткая ситуационная сеть, обучение с подкреплением
Аннотация
Рассмотрена задача моделирования процесса управления сложными системами. Для ее решения предложена новая разновидность нечеткой ситуационной сети с адаптацией на основе обучения с подкреплением, позволяющая проводить структурно-параметрическую настройку модели во время процесса моделирования. Новый способ адаптации нечетких ситуационных сетей, в отличие от уже существующих, за счет применения обучения с подкреплением позволяет адаптировать нечеткую ситуационную сеть с учетом дополнительных факторов. Проанализирован алгоритм работы предлагаемой разновидности модели нечеткой ситуационной сети с описанием способов представления текущего состояния нечеткой ситуационной сети для последующей обработки нейронной сетью, проводящей генерацию новых нечетких ситуаций. Предложено обучение нейронной сети на основе алгоритма REINFORCE, который позволяет обучить нейронную сеть для генерации новых нечетких ситуаций, при этом комбинируя процессы использования и исследования пространства возможных действий для адаптации нечетких ситуационных сетей. В качестве демонстрации возможности построения и использования предлагаемой разновидности модели нечеткой ситуационной сети приведен формализованный пример моделирования процесса управления энергетической мини-сетью. Предлагаемая разновидность нечеткой ситуационной сети с адаптацией на основе обучения с подкреплением может применяться для моделирования процессов управления сложных систем в условиях, когда изначальное построение нечеткой ситуационной сети, учитыващей все возможные состояния системы, затруднительно.
Литература
1. Саенко И.Б., Алышев С.В., Невров А.А., Аль-Агбар А.М. Подход к оцениванию состояния сложных объектов цифровых сетей связи на основе нечеткой логики // Сб. трудов 65-й научно-техн. конф., посвященной Дню радио. СПб.: АльфаГарант, 2010. С. 118—120.
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era // Computers & Chemical Eng. 2016. V. 91. Pp. 104—113.
3. Авраменко Д.Ю. Описание метода нечеткого ситуационного управления на основе композиционной гибридной модели сложной технической системы // Вестник Дагестанского гос. техн. ун-та. Серия «Технические науки». 2021. № 48(4). С. 44—54.
4. Борисов В.В., Зернов М.М. Реализация ситуационного подхода на основе нечеткой иерархической ситуационно-событийной сети // Искусственный интеллект и принятие решений. 2009. № 1. С. 17—30.
5. Агеев С.А., Саенко И.Б., Котенко И.В. Метод и алгоритмы обнаружения аномалий в трафике мультисервисных сетей связи, основанные на нечетком логическом выводе // Информационно-управляющие системы. 2018. № 3(94). С. 61—68.
6. Кригер Л. Нечеткая ситуационная сеть для управления движением общественного транспорта // Вестник Астраханского гос. техн. ун-та. Серия «Управление, вычислительная техника и информатика». 2013. № 1. С. 53—58.
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems // Knowledge Based Systems. 2019. V. 185. P. 104935.
8. Борисов В.В., Авраменко Д.Ю. Нечеткое ситуационное управление сложными системами на основе их композиционного гибридного моделирования // Системы управления, связи и безопасности. 2021. № 3. С. 207—237.
9. Борисов В.В., Денисенков М.А. Адаптивные нечеткие ситуационные сети для мультиагентных систем // Труды XV Национ. конф. по искусственному интеллекту с междунар. участием. Смоленск: Российская ассоциация искусственного интеллекта, 2016. Т. 2. С. 148—149.
10. Саттон Р.С., Барто Э.Дж. Обучение с подкреплением: введение.. М.: ДМК Пресс, 2020.
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification // Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021. Pp. 1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches // Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007. Pp. 18—33.
14. Борисов В.В., Круглов В.В., Федулов А.С. Нечеткие модели и сети. М.: Горячая линия–Телеком, 2012.
15. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечёткая логика и искусственные нейронные сети. М.: Физматлит, 2001.
16. Мелихов А.Н., Берштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечёткой логикой. М.: Наука, 1990.
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Электрон. ресурс] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (дата обращения 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms // Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014. Pp. 1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning // Proc. Intern. Conf. Learning Representations. San Juan, 2016. Pp. 1—14.
20. Распределенная энергетика [Электрон. ресурс] https://energy.hse.ru/distributed (дата обращения 11.08.2024).
---
Для цитирования: Борисов В.В., Шапкин А.П. Нечеткие ситуационные сети с адаптацией на основе обучения с подкреплением // Вестник МЭИ. 2025. № 3. С. 135—143. DOI: 10.24160/1993-6982-2025-3-135-143
---
Работа выполнена в рамках государственного задания (проект № FSWF-2023-0012)
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Saenko I.B., Alyshev S.V., Nevrov A.A., Al'-Agbar A.M. Podkhod k Otsenivaniyu Sostoyaniya Slozhnykh Ob'ektov Tsifrovykh Setey Svyazi na Osnove Nechetkoy Logiki. Sb. trudov 65-y Nauchno-tekhn. Konf., Posvyashchennoy Dnyu Radio. SPb.: Al'faGarant, 2010:118—120. (in Russian).
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era. Computers & Chemical Eng. 2016;91:104—113.
3. Avramenko D.Yu. Opisanie Metoda Nechetkogo Situatsionnogo Upravleniya na Osnove Kompozitsionnoy Gibridnoy Modeli Slozhnoy Tekhnicheskoy Sistemy. Vestnik Dagestanskogo Gos. Tekhn. Un-ta. Seriya «Tekhnicheskie Nauki». 2021;48(4):44—54. (in Russian).
4. Borisov V.V., Zernov M.M. Realizatsiya Situatsionnogo Podkhoda na Osnove Nechetkoy Ierarkhicheskoy Situatsionno-Sobytiynoy Seti. Iskusstvennyy Intellekt i Prinyatie Resheniy. 2009;1:17—30. (in Russian).
5. Ageev S.A., Saenko I.B., Kotenko I.V. Metod i Algoritmy Obnaruzheniya Anomaliy v Trafike Mul'tiservisnykh Setey Svyazi, Osnovannye na Nechetkom Logicheskom Vyvode. Informatsionno-upravlyayushchie Sistemy. 2018;3(94):61—68. (in Russian).
6. Kriger L. Nechetkaya Situatsionnaya Set' dlya Upravleniya Dvizheniem Obshchestvennogo Transporta. Vestnik Astrakhanskogo Gos. Tekhn. Un-ta. Seriya «Upravlenie, Vychislitel'naya Tekhnika i Informatika». 2013;1:53—58. (in Russian).
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems. Knowledge Based Systems. 2019;185:104935.
8. Borisov V.V., Avramenko D.Yu. Nechetkoe Situatsionnoe Upravlenie Slozhnymi Sistemami na Osnove Ikh Kompozitsionnogo Gibridnogo Modelirovaniya. Sistemy Upravleniya, Svyazi i Bezopasnosti. 2021;3:207—237. (in Russian).
9. Borisov V.V., Denisenkov M.A. Adaptivnye Nechetkie Situatsionnye Seti dlya Mul'tiagentnykh Sistem. Trudy XV Natsion. Konf. po Iskusstvennomu Intellektu s Mezhdunar. Uchastiem. Smolensk: Rossiyskaya Assotsiatsiya Iskusstvennogo Intellekta, 2016;2:148—149. (in Russian).
10. Satton R.S., Barto E.Dzh. Obuchenie s Podkrepleniem: Vvedenie.. M.: DMK Press, 2020. (in Russian).
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification. Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021:1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches. Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007:18—33.
14. Borisov V.V., Kruglov V.V., Fedulov A.S. Nechetkie Modeli i Seti. M.: Goryachaya Liniya–Telekom, 2012. (in Russian).
15. Kruglov V.V., Dli M.I., Golunov R.Yu. Nechetkaya Logika i Iskusstvennye Neyronnye Seti. M.: Fizmatlit, 2001. (in Russian).
16. Melikhov A.N., Bershteyn L.S., Korovin S.Ya. Situatsionnye Sovetuyushchie Sistemy s Nechetkoy Logikoy. M.: Nauka, 1990. (in Russian).
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Elektron. Resurs] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (Data Obrashcheniya 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms. Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014:1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning. Proc. Intern. Conf. Learning Representations. San Juan, 2016:1—14.
20. Raspredelennaya energetika [Elektron. Resurs] https://energy.hse.ru/distributed (Data Obrashcheniya 11.08.2024). (in Russian)
---
For citation: Borisov V.V., Shapkin A.P. Fuzzy Situational Networks with Reinforcement Learning-based Adaptation. Bulletin of MPEI. 2025;3:135—143. (in Russian). DOI: 10.24160/1993-6982-2025-3-135-143
---
The work is executed within the Framework of the State Assignment (Project No. FSWF-2023-0012)
---
Conflict of interests: the authors declare no conflict of interest
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era // Computers & Chemical Eng. 2016. V. 91. Pp. 104—113.
3. Авраменко Д.Ю. Описание метода нечеткого ситуационного управления на основе композиционной гибридной модели сложной технической системы // Вестник Дагестанского гос. техн. ун-та. Серия «Технические науки». 2021. № 48(4). С. 44—54.
4. Борисов В.В., Зернов М.М. Реализация ситуационного подхода на основе нечеткой иерархической ситуационно-событийной сети // Искусственный интеллект и принятие решений. 2009. № 1. С. 17—30.
5. Агеев С.А., Саенко И.Б., Котенко И.В. Метод и алгоритмы обнаружения аномалий в трафике мультисервисных сетей связи, основанные на нечетком логическом выводе // Информационно-управляющие системы. 2018. № 3(94). С. 61—68.
6. Кригер Л. Нечеткая ситуационная сеть для управления движением общественного транспорта // Вестник Астраханского гос. техн. ун-та. Серия «Управление, вычислительная техника и информатика». 2013. № 1. С. 53—58.
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems // Knowledge Based Systems. 2019. V. 185. P. 104935.
8. Борисов В.В., Авраменко Д.Ю. Нечеткое ситуационное управление сложными системами на основе их композиционного гибридного моделирования // Системы управления, связи и безопасности. 2021. № 3. С. 207—237.
9. Борисов В.В., Денисенков М.А. Адаптивные нечеткие ситуационные сети для мультиагентных систем // Труды XV Национ. конф. по искусственному интеллекту с междунар. участием. Смоленск: Российская ассоциация искусственного интеллекта, 2016. Т. 2. С. 148—149.
10. Саттон Р.С., Барто Э.Дж. Обучение с подкреплением: введение.. М.: ДМК Пресс, 2020.
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification // Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021. Pp. 1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches // Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007. Pp. 18—33.
14. Борисов В.В., Круглов В.В., Федулов А.С. Нечеткие модели и сети. М.: Горячая линия–Телеком, 2012.
15. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечёткая логика и искусственные нейронные сети. М.: Физматлит, 2001.
16. Мелихов А.Н., Берштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечёткой логикой. М.: Наука, 1990.
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Электрон. ресурс] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (дата обращения 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms // Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014. Pp. 1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning // Proc. Intern. Conf. Learning Representations. San Juan, 2016. Pp. 1—14.
20. Распределенная энергетика [Электрон. ресурс] https://energy.hse.ru/distributed (дата обращения 11.08.2024).
---
Для цитирования: Борисов В.В., Шапкин А.П. Нечеткие ситуационные сети с адаптацией на основе обучения с подкреплением // Вестник МЭИ. 2025. № 3. С. 135—143. DOI: 10.24160/1993-6982-2025-3-135-143
---
Работа выполнена в рамках государственного задания (проект № FSWF-2023-0012)
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Saenko I.B., Alyshev S.V., Nevrov A.A., Al'-Agbar A.M. Podkhod k Otsenivaniyu Sostoyaniya Slozhnykh Ob'ektov Tsifrovykh Setey Svyazi na Osnove Nechetkoy Logiki. Sb. trudov 65-y Nauchno-tekhn. Konf., Posvyashchennoy Dnyu Radio. SPb.: Al'faGarant, 2010:118—120. (in Russian).
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era. Computers & Chemical Eng. 2016;91:104—113.
3. Avramenko D.Yu. Opisanie Metoda Nechetkogo Situatsionnogo Upravleniya na Osnove Kompozitsionnoy Gibridnoy Modeli Slozhnoy Tekhnicheskoy Sistemy. Vestnik Dagestanskogo Gos. Tekhn. Un-ta. Seriya «Tekhnicheskie Nauki». 2021;48(4):44—54. (in Russian).
4. Borisov V.V., Zernov M.M. Realizatsiya Situatsionnogo Podkhoda na Osnove Nechetkoy Ierarkhicheskoy Situatsionno-Sobytiynoy Seti. Iskusstvennyy Intellekt i Prinyatie Resheniy. 2009;1:17—30. (in Russian).
5. Ageev S.A., Saenko I.B., Kotenko I.V. Metod i Algoritmy Obnaruzheniya Anomaliy v Trafike Mul'tiservisnykh Setey Svyazi, Osnovannye na Nechetkom Logicheskom Vyvode. Informatsionno-upravlyayushchie Sistemy. 2018;3(94):61—68. (in Russian).
6. Kriger L. Nechetkaya Situatsionnaya Set' dlya Upravleniya Dvizheniem Obshchestvennogo Transporta. Vestnik Astrakhanskogo Gos. Tekhn. Un-ta. Seriya «Upravlenie, Vychislitel'naya Tekhnika i Informatika». 2013;1:53—58. (in Russian).
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems. Knowledge Based Systems. 2019;185:104935.
8. Borisov V.V., Avramenko D.Yu. Nechetkoe Situatsionnoe Upravlenie Slozhnymi Sistemami na Osnove Ikh Kompozitsionnogo Gibridnogo Modelirovaniya. Sistemy Upravleniya, Svyazi i Bezopasnosti. 2021;3:207—237. (in Russian).
9. Borisov V.V., Denisenkov M.A. Adaptivnye Nechetkie Situatsionnye Seti dlya Mul'tiagentnykh Sistem. Trudy XV Natsion. Konf. po Iskusstvennomu Intellektu s Mezhdunar. Uchastiem. Smolensk: Rossiyskaya Assotsiatsiya Iskusstvennogo Intellekta, 2016;2:148—149. (in Russian).
10. Satton R.S., Barto E.Dzh. Obuchenie s Podkrepleniem: Vvedenie.. M.: DMK Press, 2020. (in Russian).
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification. Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021:1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches. Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007:18—33.
14. Borisov V.V., Kruglov V.V., Fedulov A.S. Nechetkie Modeli i Seti. M.: Goryachaya Liniya–Telekom, 2012. (in Russian).
15. Kruglov V.V., Dli M.I., Golunov R.Yu. Nechetkaya Logika i Iskusstvennye Neyronnye Seti. M.: Fizmatlit, 2001. (in Russian).
16. Melikhov A.N., Bershteyn L.S., Korovin S.Ya. Situatsionnye Sovetuyushchie Sistemy s Nechetkoy Logikoy. M.: Nauka, 1990. (in Russian).
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Elektron. Resurs] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (Data Obrashcheniya 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms. Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014:1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning. Proc. Intern. Conf. Learning Representations. San Juan, 2016:1—14.
20. Raspredelennaya energetika [Elektron. Resurs] https://energy.hse.ru/distributed (Data Obrashcheniya 11.08.2024). (in Russian)
---
For citation: Borisov V.V., Shapkin A.P. Fuzzy Situational Networks with Reinforcement Learning-based Adaptation. Bulletin of MPEI. 2025;3:135—143. (in Russian). DOI: 10.24160/1993-6982-2025-3-135-143
---
The work is executed within the Framework of the State Assignment (Project No. FSWF-2023-0012)
---
Conflict of interests: the authors declare no conflict of interest
Опубликован
2025-02-27
Выпуск
Раздел
Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей (технические науки) (2.3.5)
