Оцінка впливу попередньої фільтрації на якість вибірки в RAG-системах з векторним пошуком
| dc.contributor.author | Клименко, Іван Вікторович | uk_UA |
| dc.contributor.author | Лебідь, Євген Андрійович | uk_UA |
| dc.date.accessioned | 2026-06-18T11:37:33Z | |
| dc.date.issued | 2026 | |
| dc.description | І. Клименко: ORCID 0000-0001-5149-3974; Є Лебідь: ORCID 0009-0007-4277-2083 | uk_UA |
| dc.description.abstract | UKR: В роботі проаналізовано сучасні підходи до оцінювання RAG‑систем, що поєднують векторний пошук і генерацію відповідей великими мовними моделями (LLM). Розглянуто класичні метрики якості вибірки та LLM‑орієнтовані метрики якості генерації, у тому числі в контексті фреймворків RAGAS, ARES, VERA та MIRAGE. Проведено машинний експеримент на базі Google Cloud Platform (GCP) Firestore колекції з векторним пошуком по датасету резюме ІТ‑фахівців, де порівнюються стандартний векторний пошук і пошук з попередньою фільтрацією за метаданими. Встановлено, що попередня фільтрація підвищує частку релевантних документів у контексті, зменшує затримку вибірки та дозволяє збільшувати розмір контексту без пропорційного погіршення якості генерації. Результати експерименту підтверджують залежність якості відповідей RAG‑систем від чистоти й релевантності контексту. | uk_UA |
| dc.description.abstract | ENG: The paper analyzes modern approaches to evaluating Retrieval-Augmented Generation (RAG) systems that integrate vector search with answer generation by large language models (LLMs). It examines classical retrieval quality metrics alongside LLM-oriented generation quality metrics, including their application within frameworks such as RAGAS, ARES, VERA, and MIRAGE. A computational experiment was conducted using a Google Cloud Platform (GCP) Firestore collection with vector search over a dataset of IT professionals' CVs, comparing standard vector search against search enhanced by pre-filtering on metadata. The results demonstrate that pre-filtering increases the proportion of relevant documents in the context, reduces retrieval latency, and enables larger context sizes without proportional degradation in generation quality. The experimental findings confirm the dependence of RAG system answer quality on the purity and relevance of the retrieved context. | en |
| dc.identifier.citation | Клименко І. В., Лебідь Є. А. Оцінка впливу попередньої фільтрації на якість вибірки в RAG-системах з векторним пошуком. Інформаційні технології в металургії та машинобудуванні – ІТММ’2026 : тези доп. Міжнародної наук.-техн. конф. (м. Дніпро, 21-23 березня 2026 р.). Дніпро, 2026. C. 194–200. DOI: https://doi.org/10.34185/1991-7848.itmm.2026.01.035. | uk_UA |
| dc.identifier.doi | https://doi.org/10.34185/1991-7848.itmm.2026.01.035 | en |
| dc.identifier.issn | 2708-0102 (Online) | |
| dc.identifier.uri | https://journals.nmetau.edu.ua/index.php/itmm/uk/article/view/2419 | en |
| dc.identifier.uri | https://crust.ust.edu.ua/handle/123456789/22440 | en |
| dc.language.iso | uk | |
| dc.publisher | Український державний університет науки і технологій, ІВК «Системні технології», Дніпро | uk_UA |
| dc.rights | Creative Commons Attribution 4.0 International License | en |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | en |
| dc.subject | комп’ютерні системи | uk_UA |
| dc.subject | інформаційні технології | uk_UA |
| dc.subject | інтелектуальний аналіз даних | uk_UA |
| dc.subject | штучний інтелект | uk_UA |
| dc.subject | машинний експеримент | uk_UA |
| dc.subject | генеративні мовні моделі | uk_UA |
| dc.subject | computer systems | en |
| dc.subject | information technologies | en |
| dc.subject | data mining | en |
| dc.subject | artificial intelligence | en |
| dc.subject | RAG | en |
| dc.subject | machine-based benchmarking | en |
| dc.subject | generative language models | en |
| dc.subject | КІТ | uk_UA |
| dc.subject.classification | TECHNOLOGY | en |
| dc.subject.classification | TECHNOLOGY::Information technology | en |
| dc.title | Оцінка впливу попередньої фільтрації на якість вибірки в RAG-системах з векторним пошуком | uk_UA |
| dc.title.alternative | The Assessment of Impact of Pre-Filtering on Retrieval Quality in RAG Systems with Vector Search | en |
| dc.type | Thesis | en |