Fuzzy Situational Networks with Reinforcement Learning-based Adaptation
DOI:
https://doi.org/10.24160/1993-6982-2025-3-135-143Keywords:
situational control, fuzzy situational network, reinforcement learningAbstract
The problem of modeling the control of complex systems is considered. For solving the problem, a new type of a fuzzy situational network with adaptation based on reinforcement learning is proposed, using which the model structure and parameters can be adjusted during the simulation process. In contrast to existing methods for adapting fuzzy situational networks, the newly proposed method, owing to the use of reinforcement learning, makes it possible to adapt a fuzzy situational network with taking additional factors into account. The operation algorithm of the proposed kind of a fuzzy situational network is analyzed along with describing the methods for representing the fuzzy situational network current state for subsequently processing it by a neural network that generates new fuzzy situations. The neural network training is proposed on the basis of the REINFORCE algorithm, which allows the neural network to be trained to generate new fuzzy situations by combining the processes of using and exploring the space of possible actions for adapting fuzzy situational networks. As a demonstration of the possibility of building and using the proposed kind of a fuzzy situational network, a formalized example of simulating the control of a mini power grid is provided. The proposed kind of a fuzzy situational network with reinforcement learning-based adaptation can be applied to model the control processes of complex systems under the conditions in which it is initially difficult to build a fuzzy situational network that would take into account all possible states of the system.
References
1. Саенко И.Б., Алышев С.В., Невров А.А., Аль-Агбар А.М. Подход к оцениванию состояния сложных объектов цифровых сетей связи на основе нечеткой логики // Сб. трудов 65-й научно-техн. конф., посвященной Дню радио. СПб.: АльфаГарант, 2010. С. 118—120.
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era // Computers & Chemical Eng. 2016. V. 91. Pp. 104—113.
3. Авраменко Д.Ю. Описание метода нечеткого ситуационного управления на основе композиционной гибридной модели сложной технической системы // Вестник Дагестанского гос. техн. ун-та. Серия «Технические науки». 2021. № 48(4). С. 44—54.
4. Борисов В.В., Зернов М.М. Реализация ситуационного подхода на основе нечеткой иерархической ситуационно-событийной сети // Искусственный интеллект и принятие решений. 2009. № 1. С. 17—30.
5. Агеев С.А., Саенко И.Б., Котенко И.В. Метод и алгоритмы обнаружения аномалий в трафике мультисервисных сетей связи, основанные на нечетком логическом выводе // Информационно-управляющие системы. 2018. № 3(94). С. 61—68.
6. Кригер Л. Нечеткая ситуационная сеть для управления движением общественного транспорта // Вестник Астраханского гос. техн. ун-та. Серия «Управление, вычислительная техника и информатика». 2013. № 1. С. 53—58.
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems // Knowledge Based Systems. 2019. V. 185. P. 104935.
8. Борисов В.В., Авраменко Д.Ю. Нечеткое ситуационное управление сложными системами на основе их композиционного гибридного моделирования // Системы управления, связи и безопасности. 2021. № 3. С. 207—237.
9. Борисов В.В., Денисенков М.А. Адаптивные нечеткие ситуационные сети для мультиагентных систем // Труды XV Национ. конф. по искусственному интеллекту с междунар. участием. Смоленск: Российская ассоциация искусственного интеллекта, 2016. Т. 2. С. 148—149.
10. Саттон Р.С., Барто Э.Дж. Обучение с подкреплением: введение.. М.: ДМК Пресс, 2020.
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification // Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021. Pp. 1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches // Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007. Pp. 18—33.
14. Борисов В.В., Круглов В.В., Федулов А.С. Нечеткие модели и сети. М.: Горячая линия–Телеком, 2012.
15. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечёткая логика и искусственные нейронные сети. М.: Физматлит, 2001.
16. Мелихов А.Н., Берштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечёткой логикой. М.: Наука, 1990.
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Электрон. ресурс] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (дата обращения 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms // Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014. Pp. 1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning // Proc. Intern. Conf. Learning Representations. San Juan, 2016. Pp. 1—14.
20. Распределенная энергетика [Электрон. ресурс] https://energy.hse.ru/distributed (дата обращения 11.08.2024).
---
Для цитирования: Борисов В.В., Шапкин А.П. Нечеткие ситуационные сети с адаптацией на основе обучения с подкреплением // Вестник МЭИ. 2025. № 3. С. 135—143. DOI: 10.24160/1993-6982-2025-3-135-143
---
Работа выполнена в рамках государственного задания (проект № FSWF-2023-0012)
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Saenko I.B., Alyshev S.V., Nevrov A.A., Al'-Agbar A.M. Podkhod k Otsenivaniyu Sostoyaniya Slozhnykh Ob'ektov Tsifrovykh Setey Svyazi na Osnove Nechetkoy Logiki. Sb. trudov 65-y Nauchno-tekhn. Konf., Posvyashchennoy Dnyu Radio. SPb.: Al'faGarant, 2010:118—120. (in Russian).
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era. Computers & Chemical Eng. 2016;91:104—113.
3. Avramenko D.Yu. Opisanie Metoda Nechetkogo Situatsionnogo Upravleniya na Osnove Kompozitsionnoy Gibridnoy Modeli Slozhnoy Tekhnicheskoy Sistemy. Vestnik Dagestanskogo Gos. Tekhn. Un-ta. Seriya «Tekhnicheskie Nauki». 2021;48(4):44—54. (in Russian).
4. Borisov V.V., Zernov M.M. Realizatsiya Situatsionnogo Podkhoda na Osnove Nechetkoy Ierarkhicheskoy Situatsionno-Sobytiynoy Seti. Iskusstvennyy Intellekt i Prinyatie Resheniy. 2009;1:17—30. (in Russian).
5. Ageev S.A., Saenko I.B., Kotenko I.V. Metod i Algoritmy Obnaruzheniya Anomaliy v Trafike Mul'tiservisnykh Setey Svyazi, Osnovannye na Nechetkom Logicheskom Vyvode. Informatsionno-upravlyayushchie Sistemy. 2018;3(94):61—68. (in Russian).
6. Kriger L. Nechetkaya Situatsionnaya Set' dlya Upravleniya Dvizheniem Obshchestvennogo Transporta. Vestnik Astrakhanskogo Gos. Tekhn. Un-ta. Seriya «Upravlenie, Vychislitel'naya Tekhnika i Informatika». 2013;1:53—58. (in Russian).
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems. Knowledge Based Systems. 2019;185:104935.
8. Borisov V.V., Avramenko D.Yu. Nechetkoe Situatsionnoe Upravlenie Slozhnymi Sistemami na Osnove Ikh Kompozitsionnogo Gibridnogo Modelirovaniya. Sistemy Upravleniya, Svyazi i Bezopasnosti. 2021;3:207—237. (in Russian).
9. Borisov V.V., Denisenkov M.A. Adaptivnye Nechetkie Situatsionnye Seti dlya Mul'tiagentnykh Sistem. Trudy XV Natsion. Konf. po Iskusstvennomu Intellektu s Mezhdunar. Uchastiem. Smolensk: Rossiyskaya Assotsiatsiya Iskusstvennogo Intellekta, 2016;2:148—149. (in Russian).
10. Satton R.S., Barto E.Dzh. Obuchenie s Podkrepleniem: Vvedenie.. M.: DMK Press, 2020. (in Russian).
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification. Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021:1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches. Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007:18—33.
14. Borisov V.V., Kruglov V.V., Fedulov A.S. Nechetkie Modeli i Seti. M.: Goryachaya Liniya–Telekom, 2012. (in Russian).
15. Kruglov V.V., Dli M.I., Golunov R.Yu. Nechetkaya Logika i Iskusstvennye Neyronnye Seti. M.: Fizmatlit, 2001. (in Russian).
16. Melikhov A.N., Bershteyn L.S., Korovin S.Ya. Situatsionnye Sovetuyushchie Sistemy s Nechetkoy Logikoy. M.: Nauka, 1990. (in Russian).
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Elektron. Resurs] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (Data Obrashcheniya 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms. Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014:1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning. Proc. Intern. Conf. Learning Representations. San Juan, 2016:1—14.
20. Raspredelennaya energetika [Elektron. Resurs] https://energy.hse.ru/distributed (Data Obrashcheniya 11.08.2024). (in Russian)
---
For citation: Borisov V.V., Shapkin A.P. Fuzzy Situational Networks with Reinforcement Learning-based Adaptation. Bulletin of MPEI. 2025;3:135—143. (in Russian). DOI: 10.24160/1993-6982-2025-3-135-143
---
The work is executed within the Framework of the State Assignment (Project No. FSWF-2023-0012)
---
Conflict of interests: the authors declare no conflict of interest
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era // Computers & Chemical Eng. 2016. V. 91. Pp. 104—113.
3. Авраменко Д.Ю. Описание метода нечеткого ситуационного управления на основе композиционной гибридной модели сложной технической системы // Вестник Дагестанского гос. техн. ун-та. Серия «Технические науки». 2021. № 48(4). С. 44—54.
4. Борисов В.В., Зернов М.М. Реализация ситуационного подхода на основе нечеткой иерархической ситуационно-событийной сети // Искусственный интеллект и принятие решений. 2009. № 1. С. 17—30.
5. Агеев С.А., Саенко И.Б., Котенко И.В. Метод и алгоритмы обнаружения аномалий в трафике мультисервисных сетей связи, основанные на нечетком логическом выводе // Информационно-управляющие системы. 2018. № 3(94). С. 61—68.
6. Кригер Л. Нечеткая ситуационная сеть для управления движением общественного транспорта // Вестник Астраханского гос. техн. ун-та. Серия «Управление, вычислительная техника и информатика». 2013. № 1. С. 53—58.
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems // Knowledge Based Systems. 2019. V. 185. P. 104935.
8. Борисов В.В., Авраменко Д.Ю. Нечеткое ситуационное управление сложными системами на основе их композиционного гибридного моделирования // Системы управления, связи и безопасности. 2021. № 3. С. 207—237.
9. Борисов В.В., Денисенков М.А. Адаптивные нечеткие ситуационные сети для мультиагентных систем // Труды XV Национ. конф. по искусственному интеллекту с междунар. участием. Смоленск: Российская ассоциация искусственного интеллекта, 2016. Т. 2. С. 148—149.
10. Саттон Р.С., Барто Э.Дж. Обучение с подкреплением: введение.. М.: ДМК Пресс, 2020.
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification // Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021. Pp. 1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches // Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007. Pp. 18—33.
14. Борисов В.В., Круглов В.В., Федулов А.С. Нечеткие модели и сети. М.: Горячая линия–Телеком, 2012.
15. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечёткая логика и искусственные нейронные сети. М.: Физматлит, 2001.
16. Мелихов А.Н., Берштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечёткой логикой. М.: Наука, 1990.
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Электрон. ресурс] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (дата обращения 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms // Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014. Pp. 1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning // Proc. Intern. Conf. Learning Representations. San Juan, 2016. Pp. 1—14.
20. Распределенная энергетика [Электрон. ресурс] https://energy.hse.ru/distributed (дата обращения 11.08.2024).
---
Для цитирования: Борисов В.В., Шапкин А.П. Нечеткие ситуационные сети с адаптацией на основе обучения с подкреплением // Вестник МЭИ. 2025. № 3. С. 135—143. DOI: 10.24160/1993-6982-2025-3-135-143
---
Работа выполнена в рамках государственного задания (проект № FSWF-2023-0012)
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Saenko I.B., Alyshev S.V., Nevrov A.A., Al'-Agbar A.M. Podkhod k Otsenivaniyu Sostoyaniya Slozhnykh Ob'ektov Tsifrovykh Setey Svyazi na Osnove Nechetkoy Logiki. Sb. trudov 65-y Nauchno-tekhn. Konf., Posvyashchennoy Dnyu Radio. SPb.: Al'faGarant, 2010:118—120. (in Russian).
2. Shu Y. e. a. Abnormal Situation Management: Challenges and Opportunities in the Big Data Era. Computers & Chemical Eng. 2016;91:104—113.
3. Avramenko D.Yu. Opisanie Metoda Nechetkogo Situatsionnogo Upravleniya na Osnove Kompozitsionnoy Gibridnoy Modeli Slozhnoy Tekhnicheskoy Sistemy. Vestnik Dagestanskogo Gos. Tekhn. Un-ta. Seriya «Tekhnicheskie Nauki». 2021;48(4):44—54. (in Russian).
4. Borisov V.V., Zernov M.M. Realizatsiya Situatsionnogo Podkhoda na Osnove Nechetkoy Ierarkhicheskoy Situatsionno-Sobytiynoy Seti. Iskusstvennyy Intellekt i Prinyatie Resheniy. 2009;1:17—30. (in Russian).
5. Ageev S.A., Saenko I.B., Kotenko I.V. Metod i Algoritmy Obnaruzheniya Anomaliy v Trafike Mul'tiservisnykh Setey Svyazi, Osnovannye na Nechetkom Logicheskom Vyvode. Informatsionno-upravlyayushchie Sistemy. 2018;3(94):61—68. (in Russian).
6. Kriger L. Nechetkaya Situatsionnaya Set' dlya Upravleniya Dvizheniem Obshchestvennogo Transporta. Vestnik Astrakhanskogo Gos. Tekhn. Un-ta. Seriya «Upravlenie, Vychislitel'naya Tekhnika i Informatika». 2013;1:53—58. (in Russian).
7. Kotenko I., Saenko I., Ageev S. Hierarchical Fuzzy Situational Networks for Online Decision-making: Application to Telecommunication Systems. Knowledge Based Systems. 2019;185:104935.
8. Borisov V.V., Avramenko D.Yu. Nechetkoe Situatsionnoe Upravlenie Slozhnymi Sistemami na Osnove Ikh Kompozitsionnogo Gibridnogo Modelirovaniya. Sistemy Upravleniya, Svyazi i Bezopasnosti. 2021;3:207—237. (in Russian).
9. Borisov V.V., Denisenkov M.A. Adaptivnye Nechetkie Situatsionnye Seti dlya Mul'tiagentnykh Sistem. Trudy XV Natsion. Konf. po Iskusstvennomu Intellektu s Mezhdunar. Uchastiem. Smolensk: Rossiyskaya Assotsiatsiya Iskusstvennogo Intellekta, 2016;2:148—149. (in Russian).
10. Satton R.S., Barto E.Dzh. Obuchenie s Podkrepleniem: Vvedenie.. M.: DMK Press, 2020. (in Russian).
11. Al Mahamid F., Grolinger K. Reinforcement Learning Algorithms: an Overview and Classification. Proc. IEEE Canadian Conf. Electrical and Computer Eng. 2021:1—7.
12. Sutton R.S., Barto A.G. Reinforcement Learning: an Introduction. Cambridge: MIT Press, 2018.
13. Jakobson G., Buford J., Lewis L. Situation Management: Basic Concepts and Approaches. Proc. Third Intern. Workshop for Information Fusion and Geographic Information Systems. N.-Y.: Springer Berlin Heidelberg, 2007:18—33.
14. Borisov V.V., Kruglov V.V., Fedulov A.S. Nechetkie Modeli i Seti. M.: Goryachaya Liniya–Telekom, 2012. (in Russian).
15. Kruglov V.V., Dli M.I., Golunov R.Yu. Nechetkaya Logika i Iskusstvennye Neyronnye Seti. M.: Fizmatlit, 2001. (in Russian).
16. Melikhov A.N., Bershteyn L.S., Korovin S.Ya. Situatsionnye Sovetuyushchie Sistemy s Nechetkoy Logikoy. M.: Nauka, 1990. (in Russian).
17. A Gentle Introduction to Long Short-term Memory Networks by the Experts [Elektron. Resurs] https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts (Data Obrashcheniya 11.08.2024).
18. Silver D. e. a. Deterministic Policy Gradient Algorithms. Proc. 31st Intern. Conf. Machine Learning. Beijing, 2014:1—9.
19. Lillicrap T.P. e. a. Continuous Control with Deep Reinforcement Learning. Proc. Intern. Conf. Learning Representations. San Juan, 2016:1—14.
20. Raspredelennaya energetika [Elektron. Resurs] https://energy.hse.ru/distributed (Data Obrashcheniya 11.08.2024). (in Russian)
---
For citation: Borisov V.V., Shapkin A.P. Fuzzy Situational Networks with Reinforcement Learning-based Adaptation. Bulletin of MPEI. 2025;3:135—143. (in Russian). DOI: 10.24160/1993-6982-2025-3-135-143
---
The work is executed within the Framework of the State Assignment (Project No. FSWF-2023-0012)
---
Conflict of interests: the authors declare no conflict of interest
Downloads
Published
2025-02-27
Issue
Section
Mathematical and Software Support of Computer Systems, Complexes and Computer Networks (Technical Sciences) (2.3.5)
