Browsing by Author "Лебідь, Євген Андрійович"

Now showing 1 - 4 of 4

Огляд сучасних фреймворків та метрик оцінки RAG-систем
(Український державний університет науки і технологій, ННІ ≪ Дніпровський металургійний інститут ≫, ІВК ≪Системні технології≫, Дніпро, 2026) Клименко, Іван Вікторович; Лебідь, Євген Андрійович
UKR: Актуальність дослідження зумовлена стрімким поширенням RAG-систем у пошукових і генеративних задачах, де якість відповіді залежить як від релевантності відібраного контексту, так і від коректності його використання генеративною мовною моделлю. Метою дослідження є огляд сучасних фреймворків оцінювання RAG-систем та метрик і проведення експериментальної перевірки впливу якості вибірки на показники генерації. У роботі проведено аналіз наукових публікацій, порівняння самих фреймворків оцінювання, машинний експеримент на основі систем векторного пошуку з подальшою генерацією відповіді. Для оцінки впливу фільтрації на якість вибірки та формування контексту виконано порівняння стандартного векторного пошуку та пошуку з попередньою фільтрацією. Отримані результати підтверджують, що оцінювання систем RAG має враховувати як метрики вибірки, так і метрики генерації, оскільки збільшення контексту без зменшення шуму не гарантує покращення якості відповіді.
Оцінка впливу попередньої фільтрації на якість вибірки в RAG-системах з векторним пошуком
(Український державний університет науки і технологій, ІВК «Системні технології», Дніпро, 2026) Клименко, Іван Вікторович; Лебідь, Євген Андрійович
UKR: В роботі проаналізовано сучасні підходи до оцінювання RAG‑систем, що поєднують векторний пошук і генерацію відповідей великими мовними моделями (LLM). Розглянуто класичні метрики якості вибірки та LLM‑орієнтовані метрики якості генерації, у тому числі в контексті фреймворків RAGAS, ARES, VERA та MIRAGE. Проведено машинний експеримент на базі Google Cloud Platform (GCP) Firestore колекції з векторним пошуком по датасету резюме ІТ‑фахівців, де порівнюються стандартний векторний пошук і пошук з попередньою фільтрацією за метаданими. Встановлено, що попередня фільтрація підвищує частку релевантних документів у контексті, зменшує затримку вибірки та дозволяє збільшувати розмір контексту без пропорційного погіршення якості генерації. Результати експерименту підтверджують залежність якості відповідей RAG‑систем від чистоти й релевантності контексту.
Порівняльний аналіз часової ефективності алгоритмів пошуку підрядка
(Український державний університет науки і технологій, ІВК «Системні технології», Дніпро, 2025) Клименко, Іван Вікторович; Лебідь, Євген Андрійович
UKR: У статті проведено порівняльний аналіз часової ефективності чотирьох класичних алгоритмів пошуку підрядка (string searching algorithms), що намагаються знайти позицію, де один або декілька текстових рядків (зразків) входять у довший рядок або текст. Порівнювались наступні алгоритми: наївного пошуку (перебору, або ж брут-форс), Кнута-Морріса-Пратта (КМП), Боєра-Мура та Рабіна-Карпа. Дослідження проводилось на трьох різних архітектурах процесорів та з трьома наборами вхідних даних різного обсягу. Алгоритми тестувались за умов як холодного, так і прогрітого кешу. Для зниження впливу сторонніх чинників було реалізовано запуск на одному процесорному ядрі та примусове очищення пам’яті після кожного тесту. Результати експериментів проаналізовано за допомогою розрахунків S- та R-показників ефективності, надано рекомендації щодо доцільності застосування кожного окремого алгоритму в різних умовах.
Формування та управління крос-функціональними командами в ІТ проектах
(Український державний університет науки і технологій, Дніпро, 2025) Клименко, Іван Вікторович; Лебідь, Євген Андрійович
UKR: У статті розглядаються питання формування та ефективного управління крос-функціональними командами в ІТ-проєктах із урахуванням сучасних викликів галузі, таких як дефіцит кваліфікованих кадрів, зміна ринку праці та зниження попиту на українські ІТ-послуги через війну. Зазначається, що традиційні підходи до формування команд, орієнтовані на підбір окремих спеціалістів без урахування soft skills та попереднього досвіду взаємодії, є недостатніми в умовах сучасних проєктів. Основна увага зосереджена на аналізі методів, підходів та інформаційних технологій, що дозволяють автоматизувати процес підбору членів команд на основі багатокритеріальної оцінки їхніх компетенцій та особистісних якостей. Запропоновано інформаційну модель формування крос-функціональних команд, яка враховує як технічні, так і комунікативні навички, а також попередній досвід співпраці спеціалістів у команді. Окремо підкреслюється необхідність подальших досліджень впливу штучного інтелекту та машинного навчання на автоматизацію рутинних процесів формування та управління командами, а також створення персоналізованих моделей для прогнозування довгострокової ефективності ІТ команд.