Результати налаштування параметрів нейронних глибоких мереж щодо розпізнавання Fashion MNIST DATASET
| dc.contributor.author | Гнатушенко, Вікторія Володимирівна | uk_UA |
| dc.contributor.author | Фененко, Тетяна Михайлівна | uk_UA |
| dc.contributor.author | Дорош, Ольга Володимирівна | uk_UA |
| dc.date.accessioned | 2023-08-22T17:47:19Z | |
| dc.date.available | 2023-08-22T17:47:19Z | |
| dc.date.issued | 2022 | |
| dc.description | Вік. Гнатушенко: ORCID 0000-0001-5304-4144; Т. Фененко: ORCID 0000-0002-7631-3148; О. Дорош: ORCID 0009-0004-9053-0386 | uk_UA |
| dc.description.abstract | UKR: Проведено дослідження моделей згорткової нейронної мережі (Convolutional neural network – CNN) з метою підвищення точності розпізнавання Fashion MNIST DATASET.З огляду відомо, що розпізнавання елементів одягу набору Fashion MNIST є більш складним ніж розпізнавання набору рукопису цифр MNIST. Набор одягу Fashion-MNIST рекомендовано для досліджень різних архітектур нейронних мереж. Найкращі результати якості розпізнавання Fashion MNIST DATASET отримано за згортковою нейронною мережею. В даній роботі було метою покращити точність розпізнавання Fashion MNIST DATASET за рахунок дослідження різних архітектур CNN та їх параметрів. Обрано дві архітектури послідовної згорткової нейронної мережі з тих, у яких точність розпізнавання Fashion MNIST DATASET більше ніж 93%. Проведено дослідження їх архітектур та параметрів. Моделі відповідають визначенню нейронних глибоких мереж та мають різну кількість шарів. В дослідженнях моделей показано вплив параметрів batch_size, validation_split, validation_data на точність розпізнавання, а також варіанти розташування шару BatchNormalization та шару активації; вплив параметра “filters” для згорткового шару. Крім того, було використано два варіанти вибору валідаційної вибірки: перший – з набору даних для навчання (20%), а другий – набор даних тестування. При розрахунках число епох навчання дорівнювало 20. В процесі навчання вирішувалось питання не допустити перенавчання за допомогою аналізу функції втрат. Використано бібліотеки TensorFlow, Keras, мову програмування Python. Розроблено програмні модулі, які було реалізовано у хмарному сервісі Google Colab. В результаті досліджень підтверджено заявлену у роботах інших авторів точність розпізнавання >93% Fashion MNIST DATASET та отримано покращену точність розпізнавання в 94,16% для однієї з обраних моделей. Обґрунтовано вплив параметру batch_size на точність розпізнавання, обрано значення batch_size відповідно найкращому результату розпізнавання Fashion MNIST DATASET. Продемонстровано, що збільшення кількості даних для навчання покращує точність розпізнавання при використанні параметра valid_data==(X_test, X_test_labels) замість valid_split для даних навчання. Наведені результати чисельного експеримента, які підтверджують важливість та корисність застосування методів регуляризації для вирішення проблеми перенавчання: налаштування шарів Dropout дозволило покращити точність розпізнавання. | uk_UA |
| dc.description.abstract | ENG: A study of convolutional neural network (CNN) models was conducted in order to obtain better recognition quality of the Fashion MNIST DATASET.From the review, it is known that the Fashion MNIST DATASET recognition set is more difficult than MNIST DATASET recognition. The Fashion-MNIST DATASET is recommended for research on different neural network architectures. The best Fashion MNIST DATASET recognition quality results were obtained by convolutional neural network. In this work, the goal was to improve the recognition quality of the Fashion MNIST DATASET by studying different CNN architectures and their parameters.Two consecutive convolutional neural network architectures were selected from those with Fashion MNIST DATASET recognition quality greater than 93%. A study of their architectures and parameters was conducted. The models correspond to the definition of neural deep networks and have different number of layers. Model studies show the influence of batch_size, validation_split, and validation_data parameters on recognition accuracy, as well as location options for the BatchNormalization layer and the activation layer; the effect of the “filters” parameter for the convolutional layer. In addition, two validation sample selection options were used: the first one was from the training dataset (20%) and the second one was the testing dataset. In the calculations, the number of training epochs was equal to 20. In the training process, the issue of preventing overtraining was solved using the analysis of the loss function. TensorFlow, Keras, Python programming language were used. Software modules were developed and implemented in the Google Colab cloud service. As a result of the research, the recognition quality >93% of the Fashion MNIST DATASET declared in the works of other authors was confirmed, and an improved recognition quality of 94.16% was obtained for one of the selected models. The influence of the batch_size parameter on the recognition quality is substantiated, and the batch_size value is chosen according to the best recognition result of the Fashion MNIST DATASET. Increasing the amount of training data has been shown to improve recognition performance when using valid_data==(X_test, X_test_labels) instead of valid_split for training data. The results of a numerical experiment are presented, which confirm the importance and usefulness of applying regularization methods to solve the retraining problem: adjusting the Dropout layers allowed to improve the recognition accuracy. | en |
| dc.description.sponsorship | Інститут транспортних систем і технологій Національної академії наук України | uk_UA |
| dc.identifier.citation | Гнатушенко В. В., Фененко Т. М., Дорош О. Л. Результати налаштування параметрів нейронних глибоких мереж щодо розпізнавання Fashion MNIST DATASET. Прикладні питання математичного моделювання. 2022. Т. 5, № 2. С. 19–26. DOI: https://doi.org/10.32782/mathematical-modelling/2022-5-2-2. | uk_UA |
| dc.identifier.doi | DOI: https://doi.org/10.32782/mathematical-modelling/2022-5-2-2 | |
| dc.identifier.issn | 2618-0332 (print) | |
| dc.identifier.issn | 2618-0340 (online) | |
| dc.identifier.uri | https://journals.kntu.kherson.ua/index.php/ppmm/article/view/164 | uk_UA |
| dc.identifier.uri | https://crust.ust.edu.ua/handle/123456789/17367 | uk_UA |
| dc.language.iso | uk | |
| dc.publisher | Херсонський національний технічний університет | uk_UA |
| dc.subject | глибоке навчання | uk_UA |
| dc.subject | згорткова нейронна мережа | uk_UA |
| dc.subject | архітектура CNN | uk_UA |
| dc.subject | точність розпізнавання | uk_UA |
| dc.subject | налаштування параметрів CNN | uk_UA |
| dc.subject | deep learning | en |
| dc.subject | convolutional neural network | en |
| dc.subject | CNN architecture | en |
| dc.subject | recognition quality | en |
| dc.subject | CNN parameter tuning | en |
| dc.subject | Fashion MNIST DATASET | en |
| dc.subject | PYTHON | en |
| dc.subject | KERAS | en |
| dc.subject | TENSORFLOW | en |
| dc.subject | GOOGLE COLAB | en |
| dc.subject | КІТС | uk_UA |
| dc.subject.classification | TECHNOLOGY::Information technology | en |
| dc.title | Результати налаштування параметрів нейронних глибоких мереж щодо розпізнавання Fashion MNIST DATASET | uk_UA |
| dc.title.alternative | Results of Neural Deep Networks Parameter Tuning for Fashion MNIST DATASET Recognition | en |
| dc.type | Article | uk_UA |