Моделі та методи навчання нейронних мереж з розширеним вектором варійованих параметрів

UKR: Проведено дослідження моделей і методів навчання нейронних мереж з використанням розширеного вектора змінних параметрів. Задача навчання формулюється як неперервна багатовимірна задача безумовної оптимізації. Розширений вектор змінних параметрів означає, що він включає деякі параметри функцій активації на додаток до вагових коефіцієнтів. Введення додаткових змінних параметрів не змінює архітектуру нейронної мережі, але унеможливлює використання методу зворотного поширення. Ряд градієнтних методів використовувався для вирішення задач оптимізації. Досліджено різні постановки задач оптимізації та методи їх вирішення за критеріями точності та ефективності.

ENG: A studied of models and methods for training neural networks using an extended vector of varying parameters is conducted. The training problem is formulated as a continuous multidimensional unconditional optimization problem. The extended vector of varying parameters implies that it includes some parameters of activation functions in addition to weight coefficients. The introduction of additional varying parameters does not change the architecture of a neural network, but makes it impossible to use the back propagation method. A number of gradient methods have been used to solve optimization problems. Different formulations of optimization problems and methods for their solution have been investigated according to accuracy and efficiency criteria.