Том 3 № 164 (СТ ДМетІ)

Permanent URI for this collectionhttps://crust.ust.edu.ua/handle/123456789/22168

Volume 3 No. 164 (ST DMetI)

Browse

Filter results by typing the first few letters
Now showing 1 - 1 of 1
  • Thumbnail Image
    Item type:Item,
    Огляд сучасних фреймворків та метрик оцінки RAG-систем
    (Український державний університет науки і технологій, ННІ ≪ Дніпровський металургійний інститут ≫, ІВК ≪Системні технології≫, Дніпро, 2026) Клименко, Іван Вікторович; Лебідь, Євген Андрійович
    UKR: Актуальність дослідження зумовлена стрімким поширенням RAG-систем у пошукових і генеративних задачах, де якість відповіді залежить як від релевантності відібраного контексту, так і від коректності його використання генеративною мовною моделлю. Метою дослідження є огляд сучасних фреймворків оцінювання RAG-систем та метрик і проведення експериментальної перевірки впливу якості вибірки на показники генерації. У роботі проведено аналіз наукових публікацій, порівняння самих фреймворків оцінювання, машинний експеримент на основі систем векторного пошуку з подальшою генерацією відповіді. Для оцінки впливу фільтрації на якість вибірки та формування контексту виконано порівняння стандартного векторного пошуку та пошуку з попередньою фільтрацією. Отримані результати підтверджують, що оцінювання систем RAG має враховувати як метрики вибірки, так і метрики генерації, оскільки збільшення контексту без зменшення шуму не гарантує покращення якості відповіді.