Review of Natural Language Processing Methods for Automatically Generating Test Tasks
DOI:
https://doi.org/10.24160/1993-6982-2024-3-113-126Keywords:
natural language processing, knowledge testing, machine learning, NLP, text generationAbstract
In the today's world, the trend towards automation can be seen in all areas of society life. Many different processes are being automated, including such complex problems as natural language processing.
This trend is also seen in the field of education. A sharp increase in the interest in distance learning has led to a growth in the popularity of testing systems. An urgent problem encountered in dealing with them is how to generate test questions on tutorials. Teachers often have to manually generate a lot of test questions, which is quite a time-consuming task.
This article presents a detailed analysis of popular approaches, models and methods of Natural Language Processing (NLP) used to solve the problem of automatic text generation, in particular, the generation of test tasks. The models under consideration have a wide range of architectures, from pattern-based and combinatorial ones to semantic network and machine learning based models. Special attention is paid to reviewing modern numerical metrics for assessing the quality of generated test task texts.
The study results may be of interest for educational organizations and developers of distance learning systems in solving the problems of teacher workload and improving the efficiency of dealing with testing systems.
References
1. Spichak V. Petrov S. Experience in Designing and Developing the Educational Game BlockSolver // Proc. V Intern. Conf. Information Technol. Eng. Education. M., 2020. Pp. 1—5.
2. Делова Л.А. Об особенностях учебного процесса в период пандемии // Научный альманах. 2021. № 10-1(84). С. 152—155.
3. Petrov S., Merenkov D., Shirinskii S., Kryzhov D., Letyagina M., Empowerment of LMS «Prometheus» for MPEI Educational Process // Proc. VI Intern. Conf. Information Technol. Eng. Education. M., 2022. Pp. 1—6.
4. Павлов Е.М., Рыжов А.В., Петров С.А. Автоматическое составление тестовых заданий для контроля знаний по методам оценки надежности программного обеспечения // Вестник Российского нового университета. Серия «Сложные системы: модели, анализ и управление». 2022. № 3. С. 179—184.
5. Шуман Е.А. Тестирование как форма контроля знаний в процессе обучения // Молодой ученый. 2022. № 12(407). С. 183—185.
6. Ромашкина Т.В. Использование обучающих тестов в процессе организации самостоятельной работы студента вуза // Меридиан. 2020. № 7(41). C. 144—146.
7. Балашова И.Ю., Волынская К.И., Макарычев П.П. Методы и средства генерации тестовых заданий из текстов на естественном языке // Модели, системы, сети в экономике, технике, природе и обществе. 2016. № 1(17). С. 195—202.
8. Пенькова Т.Г. Функциональная модель генерации документов на основе специализированных шаблонов // Вестник КрасГАУ. 2008. № 5. С. 55—62.
9. Личаргин Д.В., Усова А.А., Сотникова В.В., Липман С.А., Бутовченко В.В. Разработка приложения по генерации учебных заданий к тексту на естественном языке на основе порождаемых шаблонов // Современные проблемы науки и образования. 2015. № 2-2. С. 120—127.
10. Awad A.E., Dahab M.Y. Automatic Generation of Question Bank Based on Pre-defined Templates // Intern. J. Innovations & Advancement in Computer Sci. 2014. No. 3(1). Pp. 80—87.
11. Le N.T., Pinkwart N. Question Generation Using Wordnet // Proc. XXII Intern. Conf. Computers in Education. 2014. No. 22. Pp. 95—100.
12. Кручинин В.В., Кузовкин В.В. Обзор существующих методов автоматической генерации задач с условиями на естественном языке // Компьютерные инструменты в образовании. 2022. № 1. C. 85—96.
13. Rioja R.M.G., Santos S.G., Pardo A., Kloos C.D. A Parametric Exercise Based Tutoring System // Frontiers in Education Conf. 2003. No. 3(S1B-20). Pp. 1—7.
14. Зорин Ю.А. Интерпретатор языка построения генераторов тестовых заданий на основе деревьев И/ИЛИ // Доклады Томского гос. ун-та систем управления и радиоэлектроники. 2013. № 1(27). С. 75—79.
15. Потараев В.В., Серебряная Л.В. Автоматическое построение семантической сети для получения ответов на вопросы // Доклады БГУИР. 2020. № 18(4). С. 44—52.
16. Caldarola E.G., Picariello A., Rinaldi A.M. Experiences in Wordnet Visualization with Labeled Graph Databases // Proc. VII Intern. Joint Conf. Knowledge Discovery, Knowledge Engineering and Knowledge Management. Lisbon, 2016. No. 63(1). Pp. 80—99.
17. Yao X., Bouma G., Zhang Y. Semantics-based Question Generation and Implementation // Dialogue & Discourse. 2012. No. 3(2). Pp. 11—42.
18. Посов И.А. Обзор генераторов и методов генерации учебных заданий // Образовательные технологии и общество. 2014. № 17(4). С. 593—609.
19. Staudemeyer R.C., Morris E.R. Understanding LSTM — a Tutorial Into Long Short-term Memory Recurrent Neural Networks // arXiv.org. 2019. No. 1. Pp. 1—42.
20. Sutskever I., Vinyals O., Le Q.V. Sequence to Sequence Learning with Neural Networks // Proc. XXVII Intern. Conf. Neural Information Proc. Systems. 2014. V. 2. Pp. 3104—3112.
21. Полторак А.В. Набатов С.И. Анализ существующих архитектур нейронных сетей для генерации текстов естественного языка с целью исследования актуальных техник при создании моделей нейронных сетей // ИТ-Стандарт. 2020. № 3(24). С. 47—53.
22. Liu T., Wei B., Chang B., Sui Z. Large-scale Simple Question Generation by Template-based seq2seq Learning // Proc. VI CCF Intern. Conf. Natural Language Proc. and Chinese Computing. Dalian, 2018. V. 10619. Pp. 75—87.
23. Vaswani A. e. a. Attention is All You Need // Proc. XXXI Conf. Neural Information Proc. Systems. 2017. No. 1. Pp. 1—15.
24. Lopez L.E., Cruz D.K., Cruz J.C.B., Cheng C. Simplifying Paragraph-level Question Generation Via Transformer Language Models // Proc. Pacific Rim Intern. Conf. Artificial Intelligence. 2021. V. 13032(1). Pp. 323—334.
25. Qiu X. e. a. Pre-trained Models for Natural Language Processing: a Survey // Sci. China Technolog. Sci. 2020. No. 63(10). Pp. 1872—1897.
26. Sai A.B., Mohankumar A.K., Khapra M.M. A Survey of Evaluation Metrics Used for NLG Systems // ACM Computing Surveys. 2022. No. 55(2). Pp. 1—39.
27. Koehn Ph. Statistical Machine Translation. N.-Y.: Cambridge University Press, 2010.
28. Chin-Yew Lin. ROUGE: a Package for Automatic Evaluation of Summaries // Text Summarization Branches Out. Barcelona: Association for Computational Linguistics, 2004. Pp. 74—81.
29. Banerjee S., Lavie A. METEOR: an Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments // Proc. ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization. 2005. Pp. 65—72.
30. Zhao Y., Ni X., Ding Y., Ke Q. Paragraph-level Neural Question Generation with Maxout Pointer and Gated Self-attention Networks // Proc. Conf. Empirical Methods Natural Language Proc. 2018. No. 1. Pp. 3901—3910.
---
Для цитирования: Науменко В.И., Петров С.А. Обзор методов обработки естественного языка для автоматической генерации тестовых заданий // Вестник МЭИ. 2024. № 3. С. 113—126. DOI: 10.24160/1993-6982-2024-3-113-126\
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Spichak V. Petrov S. Experience in Designing and Developing the Educational Game BlockSolver. Proc. V Intern. Conf. Information Technol. Eng. Education. M., 2020:1—5.
2. Delova L.A. Ob Osobennostyakh Uchebnogo Protsessa V Period Pandemii. Nauchnyy Al'manakh. 2021;10-1(84):152—155. (in Russian).
3. Petrov S., Merenkov D., Shirinskii S., Kryzhov D., Letyagina M., Empowerment of LMS «Prometheus» for MPEI Educational Process. Proc. VI Intern. Conf. Information Technol. Eng. Education. M., 2022:1—6.
4. Pavlov E.M., Ryzhov A.V., Petrov S.A. Avtomaticheskoe Sostavlenie Testovykh Zadaniy dlya Kontrolya Znaniy po Metodam Otsenki Nadezhnosti Programmnogo Obespecheniya. Vestnik Rossiyskogo Novogo Universiteta. Seriya «Slozhnye Sistemy: Modeli, Analiz i Upravlenie». 2022;3:179—184. (in Russian).
5. Shuman E.A. Testirovanie kak Forma Kontrolya Znaniy v Protsesse Obucheniya. Molodoy Uchenyy. 2022;12(407):183—185. (in Russian).
6. Romashkina T.V. Ispol'zovanie Obuchayushchikh Testov v Protsesse Organizatsii Samostoyatel'noy Raboty Studenta Vuza. Meridian. 2020;7(41):144—146. (in Russian).
7. Balashova I.Yu., Volynskaya K.I., Makarychev P.P. Metody i Sredstva Generatsii Testovykh Zadaniy iz Tekstov na Estestvennom Yazyke. Modeli, Sistemy, Seti v Ekonomike, Tekhnike, Prirode i Obshchestve. 2016;1(17):195—202. (in Russian).
8. Pen'kova T.G. Funktsional'naya Model' Generatsii Dokumentov na Osnove Spetsializirovannykh Shablonov. Vestnik KrasGAU. 2008;5:55—62. (in Russian).
9. Lichargin D.V., Usova A.A., Sotnikova V.V., Lipman S.A., Butovchenko V.V. Razrabotka Prilozheniya po Generatsii Uchebnykh Zadaniy k Tekstu na Estestvennom Yazyke na Osnove Porozhdaemykh Shablonov. Sovremennye Problemy Nauki I Obrazovaniya. 2015;2-2:120—127. (in Russian).
10. Awad A.E., Dahab M.Y. Automatic Generation of Question Bank Based on Pre-defined Templates. Intern. J. Innovations & Advancement in Computer Sci. 2014;3(1):80—87.
11. Le N.T., Pinkwart N. Question Generation Using Wordnet. Proc. XXII Intern. Conf. Computers in Education. 2014;22:95—100.
12. Kruchinin V.V., Kuzovkin V.V. Obzor Sushchestvuyushchikh Metodov Avtomaticheskoy Generatsii Zadach s Usloviyami na Estestvennom Yazyke. Komp'yuternye Instrumenty v Obrazovanii. 2022;1:85—96. (in Russian).
13. Rioja R.M.G., Santos S.G., Pardo A., Kloos C.D. A Parametric Exercise Based Tutoring System. Frontiers in Education Conf. 2003;3(S1B-20):1—7.
14. Zorin Yu.A. Interpretator Yazyka Postroeniya Generatorov Testovykh Zadaniy na Osnove Derev'ev I/ILI. Doklady Tomskogo Gos. Un-ta Sistem Upravleniya i Radioelektroniki. 2013;1(27):75—79. (in Russian).
15. Potaraev V.V., Serebryanaya L.V. Avtomaticheskoe Postroenie Semanticheskoy Seti dlya Polucheniya Otvetov na Voprosy. Doklady BGUIR. 2020;18(4):44—52. (in Russian).
16. Caldarola E.G., Picariello A., Rinaldi A.M. Experiences in Wordnet Visualization with Labeled Graph Databases. Proc. VII Intern. Joint Conf. Knowledge Discovery, Knowledge Engineering and Knowledge Management. Lisbon, 2016;63(1):80—99.
17. Yao X., Bouma G., Zhang Y. Semantics-based Question Generation and Implementation. Dialogue & Discourse. 2012;3(2):11—42.
18. Posov I.A. Obzor Generatorov i Metodov Generatsii Uchebnykh Zadaniy. Obrazovatel'nye Tekhnologii i Obshchestvo. 2014;17(4):593—609. (in Russian).
19. Staudemeyer R.C., Morris E.R. Understanding LSTM — a Tutorial Into Long Short-term Memory Recurrent Neural Networks. arXiv.org. 2019;1:1—42.
20. Sutskever I., Vinyals O., Le Q.V. Sequence to Sequence Learning with Neural Networks. Proc. XXVII Intern. Conf. Neural Information Proc. Systems. 2014;2:3104—3112.
21. Poltorak A.V. Nabatov S.I. Analiz Sushchestvuyushchikh Arkhitektur Neyronnykh Setey dlya Generatsii Tekstov Estestvennogo Yazyka s Tsel'yu Issledovaniya Aktual'nykh Tekhnik pri Sozdanii Modeley Neyronnykh Setey. IT-Standart. 2020;3(24):47—53. (in Russian).
22. Liu T., Wei B., Chang B., Sui Z. Large-scale Simple Question Generation by Template-based seq2seq Learning. Proc. VI CCF Intern. Conf. Natural Language Proc. and Chinese Computing. Dalian, 2018;10619:75—87.
23. Vaswani A. e. a. Attention is All You Need. Proc. XXXI Conf. Neural Information Proc. Systems. 2017;1:1—15.
24. Lopez L.E., Cruz D.K., Cruz J.C.B., Cheng C. Simplifying Paragraph-level Question Generation Via Transformer Language Models. Proc. Pacific Rim Intern. Conf. Artificial Intelligence. 2021;13032(1):323—334.
25. Qiu X. e. a. Pre-trained Models for Natural Language Processing: a Survey. Sci. China Technolog. Sci. 2020;63(10):1872—1897.
26. Sai A.B., Mohankumar A.K., Khapra M.M. A Survey of Evaluation Metrics Used for NLG Systems. ACM Computing Surveys. 2022;55(2):1—39.
27. Koehn Ph. Statistical Machine Translation. N.-Y.: Cambridge University Press, 2010.
28. Chin-Yew Lin. ROUGE: a Package for Automatic Evaluation of Summaries. Text Summarization Branches Out. Barcelona: Association for Computational Linguistics, 2004:74—81.
29. Banerjee S., Lavie A. METEOR: an Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. Proc. ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization. 2005:65—72.
30. Zhao Y., Ni X., Ding Y., Ke Q. Paragraph-level Neural Question Generation with Maxout Pointer and Gated Self-attention Networks. Proc. Conf. Empirical Methods Natural Language Proc. 2018;1:3901—3910
---
For citation: Naumenko V.I., Petrov S.A. Review of Natural Language Processing Methods for Automatically Generating Test Tasks. Bulletin of MPEI. 2024;3:113—126. (in Russian). DOI: 10.24160/1993-6982-2024-3-113-126
---
Conflict of interests: the authors declare no conflict of interest
2. Делова Л.А. Об особенностях учебного процесса в период пандемии // Научный альманах. 2021. № 10-1(84). С. 152—155.
3. Petrov S., Merenkov D., Shirinskii S., Kryzhov D., Letyagina M., Empowerment of LMS «Prometheus» for MPEI Educational Process // Proc. VI Intern. Conf. Information Technol. Eng. Education. M., 2022. Pp. 1—6.
4. Павлов Е.М., Рыжов А.В., Петров С.А. Автоматическое составление тестовых заданий для контроля знаний по методам оценки надежности программного обеспечения // Вестник Российского нового университета. Серия «Сложные системы: модели, анализ и управление». 2022. № 3. С. 179—184.
5. Шуман Е.А. Тестирование как форма контроля знаний в процессе обучения // Молодой ученый. 2022. № 12(407). С. 183—185.
6. Ромашкина Т.В. Использование обучающих тестов в процессе организации самостоятельной работы студента вуза // Меридиан. 2020. № 7(41). C. 144—146.
7. Балашова И.Ю., Волынская К.И., Макарычев П.П. Методы и средства генерации тестовых заданий из текстов на естественном языке // Модели, системы, сети в экономике, технике, природе и обществе. 2016. № 1(17). С. 195—202.
8. Пенькова Т.Г. Функциональная модель генерации документов на основе специализированных шаблонов // Вестник КрасГАУ. 2008. № 5. С. 55—62.
9. Личаргин Д.В., Усова А.А., Сотникова В.В., Липман С.А., Бутовченко В.В. Разработка приложения по генерации учебных заданий к тексту на естественном языке на основе порождаемых шаблонов // Современные проблемы науки и образования. 2015. № 2-2. С. 120—127.
10. Awad A.E., Dahab M.Y. Automatic Generation of Question Bank Based on Pre-defined Templates // Intern. J. Innovations & Advancement in Computer Sci. 2014. No. 3(1). Pp. 80—87.
11. Le N.T., Pinkwart N. Question Generation Using Wordnet // Proc. XXII Intern. Conf. Computers in Education. 2014. No. 22. Pp. 95—100.
12. Кручинин В.В., Кузовкин В.В. Обзор существующих методов автоматической генерации задач с условиями на естественном языке // Компьютерные инструменты в образовании. 2022. № 1. C. 85—96.
13. Rioja R.M.G., Santos S.G., Pardo A., Kloos C.D. A Parametric Exercise Based Tutoring System // Frontiers in Education Conf. 2003. No. 3(S1B-20). Pp. 1—7.
14. Зорин Ю.А. Интерпретатор языка построения генераторов тестовых заданий на основе деревьев И/ИЛИ // Доклады Томского гос. ун-та систем управления и радиоэлектроники. 2013. № 1(27). С. 75—79.
15. Потараев В.В., Серебряная Л.В. Автоматическое построение семантической сети для получения ответов на вопросы // Доклады БГУИР. 2020. № 18(4). С. 44—52.
16. Caldarola E.G., Picariello A., Rinaldi A.M. Experiences in Wordnet Visualization with Labeled Graph Databases // Proc. VII Intern. Joint Conf. Knowledge Discovery, Knowledge Engineering and Knowledge Management. Lisbon, 2016. No. 63(1). Pp. 80—99.
17. Yao X., Bouma G., Zhang Y. Semantics-based Question Generation and Implementation // Dialogue & Discourse. 2012. No. 3(2). Pp. 11—42.
18. Посов И.А. Обзор генераторов и методов генерации учебных заданий // Образовательные технологии и общество. 2014. № 17(4). С. 593—609.
19. Staudemeyer R.C., Morris E.R. Understanding LSTM — a Tutorial Into Long Short-term Memory Recurrent Neural Networks // arXiv.org. 2019. No. 1. Pp. 1—42.
20. Sutskever I., Vinyals O., Le Q.V. Sequence to Sequence Learning with Neural Networks // Proc. XXVII Intern. Conf. Neural Information Proc. Systems. 2014. V. 2. Pp. 3104—3112.
21. Полторак А.В. Набатов С.И. Анализ существующих архитектур нейронных сетей для генерации текстов естественного языка с целью исследования актуальных техник при создании моделей нейронных сетей // ИТ-Стандарт. 2020. № 3(24). С. 47—53.
22. Liu T., Wei B., Chang B., Sui Z. Large-scale Simple Question Generation by Template-based seq2seq Learning // Proc. VI CCF Intern. Conf. Natural Language Proc. and Chinese Computing. Dalian, 2018. V. 10619. Pp. 75—87.
23. Vaswani A. e. a. Attention is All You Need // Proc. XXXI Conf. Neural Information Proc. Systems. 2017. No. 1. Pp. 1—15.
24. Lopez L.E., Cruz D.K., Cruz J.C.B., Cheng C. Simplifying Paragraph-level Question Generation Via Transformer Language Models // Proc. Pacific Rim Intern. Conf. Artificial Intelligence. 2021. V. 13032(1). Pp. 323—334.
25. Qiu X. e. a. Pre-trained Models for Natural Language Processing: a Survey // Sci. China Technolog. Sci. 2020. No. 63(10). Pp. 1872—1897.
26. Sai A.B., Mohankumar A.K., Khapra M.M. A Survey of Evaluation Metrics Used for NLG Systems // ACM Computing Surveys. 2022. No. 55(2). Pp. 1—39.
27. Koehn Ph. Statistical Machine Translation. N.-Y.: Cambridge University Press, 2010.
28. Chin-Yew Lin. ROUGE: a Package for Automatic Evaluation of Summaries // Text Summarization Branches Out. Barcelona: Association for Computational Linguistics, 2004. Pp. 74—81.
29. Banerjee S., Lavie A. METEOR: an Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments // Proc. ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization. 2005. Pp. 65—72.
30. Zhao Y., Ni X., Ding Y., Ke Q. Paragraph-level Neural Question Generation with Maxout Pointer and Gated Self-attention Networks // Proc. Conf. Empirical Methods Natural Language Proc. 2018. No. 1. Pp. 3901—3910.
---
Для цитирования: Науменко В.И., Петров С.А. Обзор методов обработки естественного языка для автоматической генерации тестовых заданий // Вестник МЭИ. 2024. № 3. С. 113—126. DOI: 10.24160/1993-6982-2024-3-113-126\
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Spichak V. Petrov S. Experience in Designing and Developing the Educational Game BlockSolver. Proc. V Intern. Conf. Information Technol. Eng. Education. M., 2020:1—5.
2. Delova L.A. Ob Osobennostyakh Uchebnogo Protsessa V Period Pandemii. Nauchnyy Al'manakh. 2021;10-1(84):152—155. (in Russian).
3. Petrov S., Merenkov D., Shirinskii S., Kryzhov D., Letyagina M., Empowerment of LMS «Prometheus» for MPEI Educational Process. Proc. VI Intern. Conf. Information Technol. Eng. Education. M., 2022:1—6.
4. Pavlov E.M., Ryzhov A.V., Petrov S.A. Avtomaticheskoe Sostavlenie Testovykh Zadaniy dlya Kontrolya Znaniy po Metodam Otsenki Nadezhnosti Programmnogo Obespecheniya. Vestnik Rossiyskogo Novogo Universiteta. Seriya «Slozhnye Sistemy: Modeli, Analiz i Upravlenie». 2022;3:179—184. (in Russian).
5. Shuman E.A. Testirovanie kak Forma Kontrolya Znaniy v Protsesse Obucheniya. Molodoy Uchenyy. 2022;12(407):183—185. (in Russian).
6. Romashkina T.V. Ispol'zovanie Obuchayushchikh Testov v Protsesse Organizatsii Samostoyatel'noy Raboty Studenta Vuza. Meridian. 2020;7(41):144—146. (in Russian).
7. Balashova I.Yu., Volynskaya K.I., Makarychev P.P. Metody i Sredstva Generatsii Testovykh Zadaniy iz Tekstov na Estestvennom Yazyke. Modeli, Sistemy, Seti v Ekonomike, Tekhnike, Prirode i Obshchestve. 2016;1(17):195—202. (in Russian).
8. Pen'kova T.G. Funktsional'naya Model' Generatsii Dokumentov na Osnove Spetsializirovannykh Shablonov. Vestnik KrasGAU. 2008;5:55—62. (in Russian).
9. Lichargin D.V., Usova A.A., Sotnikova V.V., Lipman S.A., Butovchenko V.V. Razrabotka Prilozheniya po Generatsii Uchebnykh Zadaniy k Tekstu na Estestvennom Yazyke na Osnove Porozhdaemykh Shablonov. Sovremennye Problemy Nauki I Obrazovaniya. 2015;2-2:120—127. (in Russian).
10. Awad A.E., Dahab M.Y. Automatic Generation of Question Bank Based on Pre-defined Templates. Intern. J. Innovations & Advancement in Computer Sci. 2014;3(1):80—87.
11. Le N.T., Pinkwart N. Question Generation Using Wordnet. Proc. XXII Intern. Conf. Computers in Education. 2014;22:95—100.
12. Kruchinin V.V., Kuzovkin V.V. Obzor Sushchestvuyushchikh Metodov Avtomaticheskoy Generatsii Zadach s Usloviyami na Estestvennom Yazyke. Komp'yuternye Instrumenty v Obrazovanii. 2022;1:85—96. (in Russian).
13. Rioja R.M.G., Santos S.G., Pardo A., Kloos C.D. A Parametric Exercise Based Tutoring System. Frontiers in Education Conf. 2003;3(S1B-20):1—7.
14. Zorin Yu.A. Interpretator Yazyka Postroeniya Generatorov Testovykh Zadaniy na Osnove Derev'ev I/ILI. Doklady Tomskogo Gos. Un-ta Sistem Upravleniya i Radioelektroniki. 2013;1(27):75—79. (in Russian).
15. Potaraev V.V., Serebryanaya L.V. Avtomaticheskoe Postroenie Semanticheskoy Seti dlya Polucheniya Otvetov na Voprosy. Doklady BGUIR. 2020;18(4):44—52. (in Russian).
16. Caldarola E.G., Picariello A., Rinaldi A.M. Experiences in Wordnet Visualization with Labeled Graph Databases. Proc. VII Intern. Joint Conf. Knowledge Discovery, Knowledge Engineering and Knowledge Management. Lisbon, 2016;63(1):80—99.
17. Yao X., Bouma G., Zhang Y. Semantics-based Question Generation and Implementation. Dialogue & Discourse. 2012;3(2):11—42.
18. Posov I.A. Obzor Generatorov i Metodov Generatsii Uchebnykh Zadaniy. Obrazovatel'nye Tekhnologii i Obshchestvo. 2014;17(4):593—609. (in Russian).
19. Staudemeyer R.C., Morris E.R. Understanding LSTM — a Tutorial Into Long Short-term Memory Recurrent Neural Networks. arXiv.org. 2019;1:1—42.
20. Sutskever I., Vinyals O., Le Q.V. Sequence to Sequence Learning with Neural Networks. Proc. XXVII Intern. Conf. Neural Information Proc. Systems. 2014;2:3104—3112.
21. Poltorak A.V. Nabatov S.I. Analiz Sushchestvuyushchikh Arkhitektur Neyronnykh Setey dlya Generatsii Tekstov Estestvennogo Yazyka s Tsel'yu Issledovaniya Aktual'nykh Tekhnik pri Sozdanii Modeley Neyronnykh Setey. IT-Standart. 2020;3(24):47—53. (in Russian).
22. Liu T., Wei B., Chang B., Sui Z. Large-scale Simple Question Generation by Template-based seq2seq Learning. Proc. VI CCF Intern. Conf. Natural Language Proc. and Chinese Computing. Dalian, 2018;10619:75—87.
23. Vaswani A. e. a. Attention is All You Need. Proc. XXXI Conf. Neural Information Proc. Systems. 2017;1:1—15.
24. Lopez L.E., Cruz D.K., Cruz J.C.B., Cheng C. Simplifying Paragraph-level Question Generation Via Transformer Language Models. Proc. Pacific Rim Intern. Conf. Artificial Intelligence. 2021;13032(1):323—334.
25. Qiu X. e. a. Pre-trained Models for Natural Language Processing: a Survey. Sci. China Technolog. Sci. 2020;63(10):1872—1897.
26. Sai A.B., Mohankumar A.K., Khapra M.M. A Survey of Evaluation Metrics Used for NLG Systems. ACM Computing Surveys. 2022;55(2):1—39.
27. Koehn Ph. Statistical Machine Translation. N.-Y.: Cambridge University Press, 2010.
28. Chin-Yew Lin. ROUGE: a Package for Automatic Evaluation of Summaries. Text Summarization Branches Out. Barcelona: Association for Computational Linguistics, 2004:74—81.
29. Banerjee S., Lavie A. METEOR: an Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. Proc. ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization. 2005:65—72.
30. Zhao Y., Ni X., Ding Y., Ke Q. Paragraph-level Neural Question Generation with Maxout Pointer and Gated Self-attention Networks. Proc. Conf. Empirical Methods Natural Language Proc. 2018;1:3901—3910
---
For citation: Naumenko V.I., Petrov S.A. Review of Natural Language Processing Methods for Automatically Generating Test Tasks. Bulletin of MPEI. 2024;3:113—126. (in Russian). DOI: 10.24160/1993-6982-2024-3-113-126
---
Conflict of interests: the authors declare no conflict of interest
Downloads
Published
2024-02-20
Issue
Section
Computer Science and Information Processes (Technical Sciences) (2.3.8)
