Методи і моделі організації, обробки та аналізу даних в інтелектуальній системі підтримки прийняття рішень при ідентифікації творів живопису

Abstract

Дисертаційну роботу присвячено розв’язання задачі створення математичних моделей, методів, схем, архітектур та алгоритмів, орієнтованих на розв’язання задач використання інтелектуальних систем підтримки прийняття рішень при ідентифікації творів живопису, як одного з видів культурних цінностей. У дисертаційній роботі на основі отриманих теоретичних і експериментальних досліджень розв'язано задачу розробки моделей та методів організації та обробки даних в інтелектуальній системі підтримки прийняття рішень при ідентифікації творів живопису за рахунок використання сучасних штучних нейронних мереж. Метою дисертаційної роботи є підвищення якості та точності ідентифікації і класифікації творів живопису в інтелектуальній системі підтримки прийняття рішень за рахунок розробки відповідних математичних моделей та методів. Об'єкт дослідження – процеси ідентифікації та класифікації творів живопису в інтелектуальній системі підтримки прийняття рішень. Предмет дослідження – моделі та методи ідентифікації та класифікації творів живопису на основі сучасних штучних нейронних мереж. Методи дослідження. В основу досліджень покладені методи теорії математичного моделювання для математичної постановки задачі та розробки методів її розв’язання; теорії графів для розробки архітектури системи класифікації та ідентифікації творів живопису; теорії штучних нейронних 3

мереж для розробки інтелектуальної системи класифікації та ідентифікації творів живопису, теорії обробки експериментальних даних та теорії прийняття рішень для обробки модельних та експериментальних даних. Експериментальні дослідження проводилися в лабораторних умовах і на реальних об'єктах. Ефективність запропонованих рішень була досліджена під час експериментів із базою зображень, що містить фото картин світових, європейських та українських художників. Знайдено параметри конфігурації алгоритму, що забезпечують високу точність класифікації та ідентифікації. Наукова новизна та практичне значення дисертаційної роботи У дисертаційній роботі започатковано новий комплексний формалізований підхід до обробки та аналізу даних в інтелектуальній системі підтримки прийняття рішень при ідентифікації творів живопису, що дозволило реалізувати автоматизований контроль двоетапної процедури експертизи для встановлення авторства та справжності картин. При цьому отримано такі основні наукові результати: 1. Вперше розроблено двоетапну процедуру автоматизованої експертизи для встановлення авторства та справжності картин, застосування якої дозволило підвищити ефективність ідентифікації твору живопису та знизити людський фактор при попередній експертизі. 2. Набула подальшого розвитку інтелектуальна система підтримки прийняття рішень класифікації творів живопису за атрибутом часу його створення в режимі real time, що підвищило ефективність роботи експерту та скорочення часу при встановлені віку твору живопису при попередній експертизі та при прийнятті рішення щодо подальшого його аналізу. 3. Вперше розроблено архітектуру інтелектуальної системи прийняття рішень на етапі (музейна експертиза), що виконує автоматизований збір візуальних ознак та аналіз Fine-Grained ознак із зображення картини, формування вектору провенансу та ідентифікацію картини на ім'я автора, стилю, жанру та часу створення на основі мереж глибокого навчання для 4

автоматичної класифікації картин з урахуванням їхнього провенансу. Це дозволило підвищити якість та ефективність роботи інтелектуальної системи прийняття рішень для ідентифікації та класифікації творів живопису. 4. Удосконалено метод класифікації картин з урахуванням провенансу у векторному представленні та з можливістю розрізнення характерних особливостей художників одного жанру, однієї часової епохи з використанням уявлення знань у вигляді графової структури, де виділення ознак на зображеннях картин виконується за допомогою Searching and Learning Discriminative Regions (SDR, LDR пошук і вивчення дискримінаційних регіонів). На відміну від інших підходів, це створило передумови для прийняття ефективних рішень щодо експертизи творів за мінімально можливий час. 5. Отримали подальший розвиток згорткові нейронні мережі з функцією уваги, яка діє в мультизадачному режимі, для формалізації провенансу та його використання, як атрибута під час ідентифікації картин. Це дозволило, на відміну від інших систем, проводити повну музейну експертизу творів живопису. Практичне значення одержаних результатів: 1. Запропоновані у роботі рішення можуть бути впроваджені в митній справі Дніпровській митниці Держмитслужби при ідентифікації та класифікації творів живопису. 2. Запропоновані у роботі рішення можуть бути впроваджені в Дніпровському художньому музеї при ідентифікації та класифікації творів живопису. 3. Результати проведених досліджень застосовуються у навчальному процесі Національного технічного університету «Дніпровська політехніка» на факультеті інформаційних технологій на кафедрі програмного забезпечення комп'ютерних систем при викладанні дисциплін: − «Машинне навчання»; 5

− «Сучасні методи і системи підтримки прийняття рішень»; − «Моделі та методи штучного інтелекту в комп’ютерних науках». Матеріали дисертаційної роботи повною мірою викладені у 13 публікаціях, з них – 8 статей у фахових періодичних виданнях України з технічних наук, з яких 3 – категорії А (індексується в Scopus та Web of Science), 5 – категорії Б; 5 тезах доповідей у матеріалах міжнародних наукових конференцій.

The dissertation work is devoted to solving the problem of creating mathematical models, methods, schemes, architectures and algorithms aimed at solving the problems of using intelligent decision-making support systems in the identification of works of art as one of the types of cultural values. In the dissertation, based on the obtained theoretical and experimental studies, the task of developing models and methods of data organization and processing in an intelligent decision support system for the identification of works of art is solved using modern artificial neural networks. The aim of the dissertation is to improve the quality and accuracy of identification and classification of works of art in the intelligent decision-making support system through the development of appropriate mathematical models and methods. The object of the study is the process of identification and classification of works of art in the intellectual decision support system. The subject of research is models and methods of identification and classification of paintings based on modern artificial neural networks. The research methods. The research is based on the methods of the theory of mathematical modeling for the mathematical formulation of the problem and the development of methods for its solution; graph theory for the development of the architecture of the system of classification and identification of paintings; the theory of artificial neural networks for the development of an intelligent system for the 7

classification and identification of paintings, the theory of processing experimental data and the theory of decision-making for processing model and experimental data. Experimental studies were conducted in laboratory conditions and on real objects. The effectiveness of the proposed solutions was investigated during experiments with an image database containing photos of paintings by world, European, and Ukrainian artists. Algorithm configuration parameters were found that ensure high accuracy of classification and identification. Scientific novelty and practical significance of the dissertation work In the dissertation, a new complex formalized approach to data processing and analysis was introduced in the intelligent decision support system for the identification of works of art, which made it possible to implement automated control of the two-stage examination procedure to establish the authorship and authenticity of paintings. At the same time, the following main scientific results were obtained: 1. For the first time, a two-stage automated examination procedure was developed to establish the authorship and authenticity of paintings, the use of which made it possible to increase the efficiency of identification of a work of painting and reduce the human factor during preliminary examination. 2. The intellectual decision-making support system for the classification of works of painting by the attribute of the time of its creation in real time has been further developed, which has increased the efficiency of the expert's work and reduced the time when determining the age of a work of painting during the preliminary examination and when deciding on its further analysis. 3. For the first time, the architecture of an intelligent decision-making system was developed at the stage (museum examination), which performs automatic collection of visual features and fine-grained analysis of features from the image of the painting, formation of the provenance vector, and identification of the painting by the name of the author, style, genre, and time of creation based on deep learning networks for automatic classification of paintings based on their provenance. This 8

made it possible to improve the quality and efficiency of the intelligent decision- making system for the identification and classification of works of art. 4. The method of classifying paintings has been improved, taking into account the provenance in a vector representation and with the possibility of distinguishing the characteristic features of artists of one genre, one time epoch using the representation of knowledge in the form of a graph structure, where the selection of features on the images of paintings is performed using Searching and Learning Discriminative Regions (SDR, LDR search and study of discriminatory regions). Unlike other approaches, this created prerequisites for making effective decisions regarding the examination of works in the minimum possible time. 5. Convolutional neural networks with the attention function, which operates in multitasking mode, were further developed for the formalization of provenance and its use as an attribute during picture identification. This made it possible, unlike other systems, to carry out a full museum examination of paintings. Practical significance of the obtained results: 1. The solutions proposed in the work can be implemented in the customs affairs of the Dnipro Customs Service of the State Customs Service when identifying and classifying works of art. 2. The solutions proposed in the work can be implemented in the Dnipro Art Museum when identifying and classifying works of art. 3. The results of the conducted research are used in the educational process of the Dnipro University of Technology at the Faculty of Information Technologies at the Department of Computer Systems Software in the teaching of the following disciplines: − "Machine Learning"; − "Modern methods and decision support systems"; − "Artificial Intelligence Models and Methods in Computer Science." The materials of the dissertation work are fully presented in 13 publications, of which there are 8 articles in specialized technical periodicals of Ukraine, of which 9

3 are category A (indexed in Scopus and Web of Science), 5 are category B; 5 abstracts of reports in materials of international scientific conferences.