Інформаційна технологія попередньої обробки та класифікації різночасових супутникових зображень високої просторової розрізненості

Abstract

В дисертаційному дослідженні розв’язана важлива науково-прикладна задача підвищення точності, рівня автоматизації та швидкодії розпізнавання та класифікації зображень високої просторової розрізненості шляхом розробки інформаційних технологій і методів обробки з використанням машинного навчання. Дисертація складається зі вступу, чотирьох розділів, висновків, списку використаних джерел та додатків. Повний обсяг дисертації – 165 сторінок; список використаних джерел зі 136 найменувань, 2 додатків. Робота проілюстрована 40 рисунками та містить 12 таблиць. У вступі обґрунтовано актуальність теми, сформульовані мета і завдання досліджень, визначені методи досліджень, дана загальна характеристика роботи і структура дисертації, визначені наукова новизна, практичне значення проведених наукових досліджень та особистий внесок автора, оцінена достовірність отриманих результатів, наведені відомості про публікації та результати апробації та впровадження роботи. У першому розділі розглянуто сучасний стан розвитку методів і технологій попередньої обробки та класифікації різночасових супутникових даних високої просторової розрізненості і відповідного існуючого математичного та програмного забезпечення, яке використовується для розробки подібних технологій. Проаналізовані методи, що базуються на штучному інтелекті, сучасні підходи глибокого навчання та останні тенденції у розвитку штучних нейронних мереж. Проведений аналіз сучасного стану проблеми попередньої обробки та класифікації зображень дистанційного зондування Землі високого просторового розрізнення та аналіз літературних джерел виявили неефективність застосування існуючих методів, що веде до численних похибок класифікації, та визначили низку нерозв’язаних питань, зокрема відсутність автоматизованих інформаційних технологій, які дозволяють проводити класифікацію багатоспектральних різночасових супутникових зображень високої просторової розрізненості у реальному режимі часу. Існуючі рішення, як правило, є дороговартісними, трудомісткими та з використанням ручного дешифрування. Сформульовані висновок та постановка завдання про необхідність розробки комплексної інформаційної технології попередньої обробки, аналізу та класифікації супутникових зображень. У другому розділі здійснено аналіз проблеми та сучасних підходів обробки великих даних дистанційного зондування Землі. Надані основні поняття й визначення, що використовуються для її розв’язання. Описано властивості організації даних, що дозволяють передбачити результат виконання певних операцій в структурі за її елементами, використовуючи їх розташування без виконання обчислювального алгоритму. Отримано висновки про вплив властивостей та математичних методів роботи зі структурою. Запропоновано та доведено ефективність методу оптимізації основних характеристик обробки великих даних на основі застосування кортежної структури організації даних, який дозволяє зменшити обсяг оброблюваної інформації, підвищити швидкості пошуку та обробки даних при збереженні їх відповідних значень та надійності. Запропоновано та доведено ефективність IaaS-рішення для обробки потоку даних дистанційного зондування на основі глибокого навчання та хмарних технологій Kubernetes та Apache Airflow, розміщених на платформі Google Cloud Platform. Запропонований алгоритм представлений у вигляді напрямного ациклічного графа у застосунку IaaS. Згадані хмарні технології використовуються для кращого представлення робочого процесу, який реалізує складну систему паралельного виконання обчислювально-важких завдань обробки зображень високої просторової розрізненості. У третьому розділі запропоновано комплексний підхід до обробки зображень високої просторової розрізненості на основі застосування штучного інтелекту та класичних алгоритмів обробки зображень. Застосування підходу дозволяє автоматизувати процес семантичної сегментації та аналізу багатоканальних даних високої просторової розрізненості, підвищити якість подальшого розпізнавання і моніторингу об’єктів земної поверхні. Розроблено архітектуру згорткової мережі для задач семантичної сегментації супутникових зображень високої просторової розрізненості, запропоновано методику підготовки набору вхідних даних та поетапної реалізації каскадів шарів мережі, алгоритм її навчання, обґрунтовано вибір навчальної вибірки. Семантичні ознаки використовуються для зменшення помилок семантичного рівня контуру. Результати комп’ютерних експериментів підтвердили висновок, що запропонована технологія може ефективно покращити загальну точність сегментації зображень дистанційного зондування високої просторової розрізненості та скоротити загальний час навчання та час відповідної обробки. Четвертий розділ роботи присвячений класифікації аерокосмічних зображень високої просторової розрізненості при вирішенні практичних завдань. Запропоновано та досліджено інформаційну технологію класифікації аерокосмічних зображень високої просторової розрізненості на основі згорткової нейронної мережі. Доведено ефективність розробленої інформаційної технології класифікації аерокосмічних зображень високої просторової розрізненості при вирішенні практичних завдань, зокрема для розпізнавання і визначення контурів об’єктів забудови на знімках з БПЛА. Тренування мережі проводилося на рівні пікселів, що дозволило підвищити точність ідентифікації об’єктів забудови та зменшити кількість неправильно класифікованих зон. Експериментальні результати показали значне покращення точності розпізнавання будівель у загальнодоступному наборі даних. Розроблено та досліджено інформаційну технологію розпізнавання та моніторингу водних об’єктів на оптичних різночасових супутникових зображеннях високої просторової розрізненості із залученням методів машинного навчання, використання якої дозволяє отримати результати з субпіксельною точністю, забезпечуючи важливу інформацію для подальших досліджень та прийняття рішень. Інформаційна технологія класифікації зображень реалізована у вигляді окремого програмного продукту із використанням сучасних методів програмування, що дозволило полегшити виконання класифікації супутникових зображень та зменшити вимоги до кваліфікації користувача. Впровадження розроблених в процесі дослідження інформаційних технологій, методів розпізнавання та класифікації супутникових зображень і заснованого на них програмного забезпечення при їх використанні на підприємствах дозволило значно скоротити час обробки результатів дистанційного зондування Землі, зменшити вартість процесу та підвищити точність класифікації.

The dissertation research solved an important scientific and applied problem of increasing the accuracy, level of automation and speed of recognition and classification of images of high spatial fragmentation by developing information technologies and processing using machine learning. The dissertation consists of an introduction, four chapters, a conclusion, a list of sources used and appendices. The full volume of the dissertation is 165 pages; list of used sources of 136 titles, 2 appendices. The work is illustrated with 40 drawings and contains 12 tables. In the introduction, the relevance of the topic is substantiated, the research objectives and tasks are formulated, the research methods are defined, and a general description of the work and the structure of the dissertation are given. The scientific novelty, practical significance of the conducted research, and the author's personal contribution are determined, the reliability of the obtained results is assessed, and information about publications and the results of the approbation and implementation of the work is provided. The first chapter examines the current state of the development of methods and technologies for the preliminary processing and classification of high spatial resolution satellite data, as well as the existing mathematical and software tools used for developing such technologies. Methods based on artificial intelligence, modern deep learning approaches, and the latest trends in the development of artificial neural networks are analyzed. An analysis of the current state of the problem of preliminary processing and classification of high spatial resolution Earth remote sensing images and a review of the literature revealed the inefficiency of existing methods, leading to numerous classification errors, and identified several unresolved issues, particularly the lack of automated information technologies that allow real-time classification of multispectral, multitemporal high spatial resolution satellite images. Existing solutions are generally costly, labor-intensive, and involve manual decryption. Conclusions and the formulation of the task regarding the need to develop a comprehensive information technology for the preliminary processing, analysis, and classification of satellite images are presented. In the second chapter, an analysis of the problem and modern approaches to processing extensive Earth remote sensing data is carried out. Basic concepts and definitions used for its solution are provided. The properties of the data organization are described, allowing to predict the result of performing certain operations in the structure on its elements, using their arrangement without performing a computational algorithm. Conclusions about the influence of properties and methods of working with the structure were obtained. The effectiveness of the method of optimizing the main characteristics of big data processing based on the application of a tuple structure of data organization, which allows to reduce the amount of processed information, to increase the speed of data search and processing while preserving their respective values and reliability, is proposed and proven. The effectiveness of an IaaS solution for remote sensing data flow processing based on deep learning and Kubernetes and Apache Airflow cloud technologies, hosted on the Google Cloud Platform, is proposed and proven. The proposed algorithm is presented in the form of a directed acyclic graph in an IaaS application. The mentioned cloud technologies are used for a better representation of the working process, which implements a complex system of parallel execution of computationally difficult tasks of high spatial resolution image processing. The third chapter proposes an integrated approach to processing high spatial resolution images based on the use of artificial intelligence and classical image processing algorithms. The use of the approach allows you to automate the process of semantic segmentation and analysis of multi-channel data of high spatial resolution, improve the quality of further recognition and monitoring of objects on the earth's surface. A convolutional network architecture has been developed for the tasks of semantic segmentation of satellite images of high spatial resolution, a methodology for preparing a set of input data and step-by-step implementation of cascades of network layers, an algorithm for its training have been proposed, and the choice of a training sample has been justified. Semantic features are used to reduce semantic contour level errors. The results of computer experiments confirmed that the proposed technology can effectively improve the overall segmentation accuracy of high spatial resolution remote sensing images and reduce the overall training time and related processing time. The fourth chapter of the work is devoted to the classification of aerospace images of high spatial resolution in solving practical problems. An information technology for classifying aerospace images of high spatial resolution based on a convolutional neural network has been proposed and studied. The effectiveness of the developed information technology for classifying aerospace images of high spatial resolution has been proven in solving practical problems, in particular, for recognizing and determining the contours of building objects in images from UAVs. Network training was carried out at the pixel level, which made it possible to increase the accuracy of identification of building objects and reduce the number of incorrectly classified zones. Experimental results showed a significant improvement in building recognition accuracy on a public dataset. An information technology for recognizing and monitoring water bodies on optical multi-temporal satellite images of high spatial resolution using machine learning has been developed and studied, the use of which allows obtaining results with sub-pixel accuracy, providing important information for further research and decision- making. Information technology for image classification is implemented as a separate software product using modern programming methods, which makes it easier to classify satellite images and reduce the requirements for user qualifications. The information technologies and methods for recognizing and classifying satellite images developed during the research, along with the software created based on them, when used in enterprises, significantly reduced the processing time of Earth remote sensing results, lowered the cost of the process, and improved classification accuracy.