Огляд сучасних фреймворків та метрик оцінки RAG-систем
| dc.contributor.author | Клименко, Іван Вікторович | uk_UA |
| dc.contributor.author | Лебідь, Євген Андрійович | uk_UA |
| dc.date.accessioned | 2026-05-07T09:04:12Z | |
| dc.date.issued | 2026 | |
| dc.description | І. Клименко: ORCID 0000-0001-5149-3974; Є. Лебідь: ORCID 0009-0007-4277-2083 | uk_UA |
| dc.description.abstract | UKR: Актуальність дослідження зумовлена стрімким поширенням RAG-систем у пошукових і генеративних задачах, де якість відповіді залежить як від релевантності відібраного контексту, так і від коректності його використання генеративною мовною моделлю. Метою дослідження є огляд сучасних фреймворків оцінювання RAG-систем та метрик і проведення експериментальної перевірки впливу якості вибірки на показники генерації. У роботі проведено аналіз наукових публікацій, порівняння самих фреймворків оцінювання, машинний експеримент на основі систем векторного пошуку з подальшою генерацією відповіді. Для оцінки впливу фільтрації на якість вибірки та формування контексту виконано порівняння стандартного векторного пошуку та пошуку з попередньою фільтрацією. Отримані результати підтверджують, що оцінювання систем RAG має враховувати як метрики вибірки, так і метрики генерації, оскільки збільшення контексту без зменшення шуму не гарантує покращення якості відповіді. | uk_UA |
| dc.description.abstract | ENG: The relevance of the study is driven by the rapid proliferation of RAG systems in search and generative tasks, where response quality depends on both the relevance of the retrieved context and the correctness of its utilization by generative language model. The objective of the research is to review modern metrics and frameworks for evaluating RAG systems and experimentally verify the impact of retrieval quality on generation metrics. The study analyzes scientific publications, compares evaluation frameworks, and conducts a machine experiment using a vector search system followed by response generation. To evaluate the impact of filtering on retrieval quality and context formation, we compare standard vector search with pre-filtered search. The obtained results confirm that RAG system evaluation must account for both retrieval and generation metrics, as increasing context size without reducing noise does not guarantee improved response quality. | en |
| dc.identifier.citation | Клименко І. В., Лебідь Є. А. Огляд сучасних фреймворків та метрик оцінки RAG-систем. Системні технології. Дніпро, 2026. Т. 3, № 164. С. 122–135. DOI: https://doi.org/10.34185/1562-9945-3-164-2026-10. | uk_UA |
| dc.identifier.doi | https://doi.org/10.34185/1562-9945-3-164-2026-10 | en |
| dc.identifier.issn | 1562-9945 (Print) | |
| dc.identifier.issn | 2707-7977 (Online) | |
| dc.identifier.uri | https://journals.nmetau.edu.ua/index.php/st/article/view/2322 | en |
| dc.identifier.uri | https://crust.ust.edu.ua/handle/123456789/22182 | en |
| dc.language.iso | uk | |
| dc.publisher | Український державний університет науки і технологій, ННІ ≪ Дніпровський металургійний інститут ≫, ІВК ≪Системні технології≫, Дніпро | uk_UA |
| dc.rights | Creative Commons Attribution 4.0 International License | en |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | en |
| dc.subject | комп’ютерні системи | uk_UA |
| dc.subject | інформаційні технології | uk_UA |
| dc.subject | інтелектуальний аналіз даних | uk_UA |
| dc.subject | штучний інтелект | uk_UA |
| dc.subject | генеративні мовні моделі | uk_UA |
| dc.subject | машинний експеримент | uk_UA |
| dc.subject | computer systems | en |
| dc.subject | information technologies | en |
| dc.subject | data mining | en |
| dc.subject | artificial intelligence | en |
| dc.subject | RAG | en |
| dc.subject | generative language models | en |
| dc.subject | machine-based benchmarking | en |
| dc.subject | КІТ | uk_UA |
| dc.subject.classification | TECHNOLOGY | en |
| dc.subject.classification | TECHNOLOGY::Information technology | en |
| dc.title | Огляд сучасних фреймворків та метрик оцінки RAG-систем | uk_UA |
| dc.title.alternative | A Comprehensive Survey of Modern Frameworks and Evaluation Metrics for RAG Systems | en |
| dc.type | Article | en |