Розвиток сучасних модульних багатопроцесорних обчислювальних систем для автоматизованого управління складними технологіями

Abstract

Роботу присвячено удосконаленню архітектури та підвищенню ефективності модульних багатопроцесорних обчислювальних систем шляхом багатовимірної агрегації каналів мережевих інтерфейсів, адаптованих до розв’язування досліджуваних задач і заразом упровадженню на їхній основі автоматизованого контролю параметрів сучасних складних технологічних процесів. Мета дослідження полягає в удосконаленні архітектури модульних багатопроцесорних систем шляхом упровадження багатовимірної агрегації каналів мережевого інтерфейсу, а також за рахунок використання шести віртуальних локальних мереж, що дає змогу не тільки підвищити ефективність розпаралелювання, але й істотно зменшити час обчислень, забезпечивши високошвидкісний доступ до пам'яті вузлів системи, знизивши завантаження каналів, які проходить між її вузлами, що сприятиме зменшенню тривалості граничного обміну даними між обчислювальними вузлами. Нині виробнича й наукова практика висуває різного роду проблеми, повне вирішення яких у більшості випадків можливе тільки за рахунок застосування багатопроцесорних обчислювальних систем. Отже, виникає потреба моделювання архітектури названих засобів, застосування яких дозволяє розв’язувати велику кількість прикладних задач. У звя’зку з цим на сьогодні тема конструювання багатопроцесорних комплексів є цікавою, актуальною і такою, що знаходиться на етапі активного розгляду. Зрозуміло до того ж, що за допомогою модульних 3

високоефективних систем було знайдено досить вдалий спосіб опрацювання актуальних прикладних задач. При цьому одна з основних особливостей застосування згаданих систем полягає в збільшенні швидкодії та ефективності обчислень. Саме висока ефективність обчислень дозволяє розв’язувати багатовимірні задачі, а також ті з них, що потребують великої кількості процесорного часу. Швидкодія дає можливість ефективно керувати технологічними процесами або навіть створювати передумови для розробки нових перспективних технологій. Об'єкт дослідження роботи – інформаційні процеси, що відбуваються під час формування, передавання, опрацювання та відображення даних у багатопроцесорних обчислювальних системах. Предметом дослідження є методи та засоби вдосконалення архітектури модульних багатопроцесорних систем за рахунок багатовимірної агрегації каналів мережевого інтерфейсу; методи визначення оцінок ефективності багатопроцесорних систем; моделі для програмування зв’язків між процесорами системи; методи впливу комунікаційних технологій на ефективність багатопроцесорних систем; методи дослідження завантаженості каналів комутації багатопроцесорної системи. Методи дослідження : для розв’язування поставлених у дисертаційній роботі задач в процесі конструювання багатопроцесорної системи та розробки метода багатовимірної агрегації каналів мережевого інтерфейса використовувалися основні положення теорії паралельних та високопродуктивних обчислень; для розробки системного програмного забезпечення застосовувалася теорія побудови операційних систем, теорії паралельних обчислень, теорії обчислювальних систем; для конструювання паралельних алгоритмів відповідних задач використовувалися методи лінійної алгебри, методи теорії диференціальних рівнянь, принципи теорії різницевих схем, методи математичного аналізу; процеси математичного моделювання задач математичної фізики спиралися на особливості використання кінцево-різницевих схем розщеплення; основні програмні засоби розроблювалися відповідно до основних принципів теорії модульного та об'єктно-орієнтованого програмування. 4

У дисертаційній роботі започатковано новий комплексний формалізований підхід до конструювання модульного багатопроцесорного комплексу з багатовимірною агрегацією мережевого інтерфейсу, що дозволило реалізувати автоматизований контроль параметрів складних технологічних систем. При цьому отримано такі основні наукові результати: Уперше розроблено багатопроцесорну обчислювальну систему, де передбачено багатовимірну агрегацію каналів мережевого інтерфейсу, що дозволило створити принципово нові можливості її функціонування порівняно з іншими обчислювальними середовищами, зокрема істотно підвищити керованість системи, розвантажити центральний процесор (через обслуговування трафіку InfiniBand), скоротити час на перемикання режимів роботи віртуальних мереж, збір, передачу, опрацювання та зберігання результатів обчислень і, як наслідок, підвищити ефективність усієї багатопроцесорної системи в цілому. Уперше розроблено метод багатовимірної агрегації каналів мережевого інтерфейсу обчислювальної системи на основі шести віртуальних локальних мереж VLAN, що дає можливість у порівнянні з іншими багатопроцесорними системами, не тільки підвищити ефективність розпаралелювання, але й істотно зменшити час обчислень за рахунок забезпечення високошвидкісного доступу до пам'яті slave - вузлів. При цьому в процесі обміну даними між вузлами зменшується навантаження на систему CPU, а також знижується завантаження каналу, який проходить між згаданими вузлам, унаслідок чого між ними скорочується час граничного обміну даних. Уперше, порівняно з іншими багатопроцесорними системами, шляхом використання нового стандарту NVMe2.* накопичувачів SSD створено нові можливості “конективності” main-вузла обчислювальної системи з різними обчислювальними середовищами, що зумовлює підвищення швидкості обміну даними між основними елементами обчислювальної системи та сприяє розвантаженню системної шини; крім того за допомогою застосування крос-панелі або WEB-інтерфейсу з'явилася можливість змінювати топологію локальних мереж системи, адаптувавши їхні структури до розв’язування задач заявленого типу. 5

Уперше було оцінено ефективність кластерної системи під час формування багатоканальних режимів її мережевого інтерфейсу. Результати такого оцінювання виражено через параметри обчислювальної системи, що дає можливість раціональним чином здійснювати компоновку її вузлів. До того ж було вдосконалено аналітичні залежності за допомогою яких уточнено оптимальне число її вузлів через параметри багатопроцесорної кластерної системи. Це створило передумови для розв’язування відповідної задачі за мінімально можливий час. Також було виконано розрахунки завантаженості каналів комутації обчислювальної системи з метою перевірки коректності налаштування мережевого устаткування. Уперше на основі багатопроцесорного обчислювального комплексу створено систему комп’ютерного контролю необхідних температурних режимів термічної обробки (ТО) металевого виробу в режимі реального часу, коли відбувались процеси рекристалізації та сфероїдизівного відпалювання каліброваної сталі. Запропонований підхід дозволяє контролювати технологічні параметри ТО металу. При цьому відбувається контроль температури зразка в центрі його перерізу, завдяки чому забезпечується надання металу необхідних властивостей, зокрема всій площині перерізу і по довжині зразка. За рахунок застосування розробленої багатопроцесорної системи удосконалено технологію ТО металу з використанням внутрішнього теплоносія, що дозволяє суттєво скороти тривалість процесу ТО металу на відміну від інших технологічних процесів сфероїдизації сталі. Практичне значення одержаних результатів. Розроблені в дисертації багатопроцесорні обчислювальні технології спрямовано на дослідження прикладних задач широкого спектра і дозволяють суттєво підвищити продуктивність, ефективність і точність опрацювання експериментальних даних. Моделі, методи й апаратні засоби подані у вигляді програмного забезпечення та промислових зразків. Практичне значення проведених досліджень полягає в тому, що в прикладній сфері з’являються такі можливості: – застосовувати розроблену модель багатопроцесорної системи з багатовимірною агрегацією каналів мережевого інтерфейсу як інтегроване 6

середовище для забезпечення розподіленого проектування програмних та апаратних засобів, що здатні виконувати автоматизований контроль параметрів сучасних технологічних процесів; – реалізувати процес модифікації розробленої обчислювальної системи для гарантування необхідних оцінок ефективності в результаті розв’язування певного класу прикладних задач за рахунок багатовимірної агрегації каналів мережевого інтерфейсу на базі необхідного набору стандартних компонентів системи; – реалізувати процес конструювання багатопроцесорної системи, призначеної для автоматизованого контролю параметрів сучасних технологічних процесів з одночасним оцінюванням продуктивності та прискорення обчислень; – за рахунок застосування процесорного модуля з інтерфейсом TCA нового покоління та жорсткого диска SSD, що має інтерфейс NVMe, знизити час завантаження операційної системи в main -вузлі на 180 %, у slave-вузлах на 320 %; час програмної реорганізації мережевого інтерфейсу скоротити на 530 %; до того ж на 250 % знизити час обробки, пересилання й зберігання проміжних та кінцевих результатів розрахунку; причому на 240 % зменшити тривалість обробки системних статистичних даних; – шляхом застосування віртуальних локальних мереж VLAN і багатовимірної агрегації каналів мережевого інтерфейсу збільшити пропускну спроможність порту мережевого інтерфейсу від 200 до 800 Мб/с, що в чотири рази підвищує швидкість обміну даними між вузлами багатопроцесорної системи; – істотно скоротити час опрацювання експериментальних даних, а також підвищувати ефективність обчислень, використавши багатопроцесорну систему з багатовимірною агрегацією каналів мережевого інтерфейсу; – суттєво зменшувати число натурних випробувань та скоротити час їх проведення за рахунок провадження розподілених обчислювальних експериментів, отримуючи при цьому потрібну інформацію завдяки використанню розроблених математичних моделей і комплексів програм; – удосконалити технологічний процес ТО металу, задіявши відповідні математичні моделі й комплекс розроблених програм; згадані моделі обробляються в 7

багатопроцесорній обчислювальній системі, а це дозволяє контролювати температурне поле металу під час його нагрівання, витримки та охолодження і тим самим забезпечує швидку адаптацію виробництва металопродукції до вимог споживача. Описані результати відображені в матеріалах патенту “Установка для інтенсифікації сфероїдизуючого відпалювання сталі”, яку застосовано у виробничому процесі з метою рекристалізації та сфероїдизації каліброваної сталі, що йде на виготовлення високоміцних кріпильних виробів методом холодного об’ємного штампування (ХОШ). Досвід імплементації мережевих технологій у багатопроцесорні системи було описано в монографії “Актуальні напрями розвитку технічного та виробничого потенціалу національної економіки”, його також впроваджено в навчальний процес підготовки студентів відповідного фаху. Результати дисертації впроваджено й підтверджено відповідними актами в діяльність наступних організацій: – підприємств: закритого акціонерного товариства “СЕНТРАВІС ПРОДАКШН ЮКРЕЙН” , товариства з обмеженою відповідальністю “Жордон”, товариства з обмеженою відповідальністю “КМД”; – науково-дослідної організації: державного підприємства “Український інститут проектування металургійних заводів”; – вищих навчальних закладів: Західноукраїнського національного університету, Українського державного університету науки і технологій, закритого акціонерного товариства “Дніпровського університету ім. Альфреда Нобеля”. Крім того, результати дисертації впроваджено й підтверджено відповідними актами при розробці наукових тем дослідження з наступними номерами державної реєстрації: 0116U006782, 0121U109528, 0120U105547.

The work is devoted to improving the architecture and increasing the efficiency of modular multiprocessor computing systems by multidimensional aggregation of network interface channels adapted for the studied class of tasks and introducing parameters’ automated control of modern complex technological systems based on them. Today, the practice raises all kinds of problems, and the complete solution in most cases is only possible due to the application of multiprocessor computing systems. Therefore, there is a problem with modeling the multiprocessor modular computer systems architecture to solve a wide range of applied problems. It is clear, and otherwise, an effective way of working out actual applied problems was found by high-performance modular systems. Thus, the topic of designing cluster multiprocessor systems is currently relevant and interesting and is at the stage of active development. At the same time, one of the main features of such technology’s application is to increase the speed and efficiency of computations. The high efficiency of computations allows for solving multidimensional problems requiring a large amount of processor time. Speed of action allows for effectively managing technological processes or, in general, creating prerequisites for developing new promising technological processes. The research object is information processes in the formation, transmission, processing, and presentation of data in multiprocessor computer systems. The research subject is methods, means, and approaches for improving the architecture of modular multiprocessor computing systems, researching their effectiveness, and automated control of technological process parameters. 9

Research methods: in the course of solving the problems set in the dissertation work, the basic provisions of the theory of computing systems, the theory of parallel computing, the theory of high-performance computing, the theory of building operating systems, the basic provisions of linear algebra, the theory of graphs, the theory of ordinary differential equations and partial differential equations, the theory difference schemes, basic methods of mathematical analysis, and basic principles of the theory of numerical modeling of heat and mass transfer processes. In the dissertation, a new complex formalized approach to constructing a modular multiprocessor system with multidimensional aggregation of the network interface was introduced, allowing for the automated implementation of parameters’ automated control of complex technological systems. At the same time, the following main scientific results were obtained: For the first time, a multiprocessor computing system with multidimensional aggregation of network interface channels was developed, where, due to a new multi- channel hybrid gateway NVIDIA Skyway InfiniBand in connection with the TCA, the new generation processor module with NVMe2 interface.* and hard disk SSD of local virtual networks, intermediate memory buffers of controlled switches, the reservation mechanism of the system main components creates fundamentally new opportunities for the operation of such a system compared to other computing environments, allowing to increase the system controllability, in particular significantly, to relieve the central processor (by traffic maintenance InfiniBand), reducing the time for operation switching modes of virtual networks, collection, transmission, processing, and storage of calculation results and, as a result, increase the efficiency of the entire multiprocessor system. For the first time in multiprocessor systems, multidimensional aggregation of network interface channels based on six VLAN virtual local networks is implemented, which allowed, compared to other multiprocessor systems, not only to increase the parallelization efficiency but also to significantly reduce the computation time by providing high-speed access to the memory of slave nodes. At the same time, during data exchange among the system nodes, the CPU system is unloaded, and the channel loading that passes between the computing 10

system nodes is reduced, which helps to reduce the time of the limited data exchange among the system’s computing nodes. Compared to other multiprocessor systems, this is for the first time due to a new NVMe2.* standard of SSD drives provides new possibilities of "connectivity" of the main node of the computing system with various computing environments, which leads to a speed increase of data exchange of the computing system’s main elements and contributes to the system bus unloading. For the first time, it became possible to change the system’s local network topology through the cross panel or WEB interface, adapting its structure to the task solution of the required type. For the first time, estimates of the cluster system’s effectiveness in forming multi- channel modes of its network interface were established. At the same time, such system evaluations are presented by the computing system parameters, which allows for a rational arrangement of its nodes. In addition, analytical dependencies were improved to specify the optimal number of its nodes by the multiprocessor cluster system parameters, when the corresponding problem will be solved in the minimum possible time, and computations aimed at determining the switching channels load of the computer system were performed allowing for verifying the network configuration equipment correctness. For the first time, based on a multiprocessor computer complex, a system of automated control of the necessary temperature regimes of maintenance of a metal product in real time was created to run the procedure of recrystallization and spheroidal annealing of calibrated steel. The proposed approach allows for automated control of technological parameters of metal maintenance. At the same time, the sample’s temperature in its section center is controlled, allowing for the metal to be provided with the necessary properties, both over the entire area of its section and along the length of the sample. The technology of metal thermal treatment due to the internal coolant has been improved, which significantly reduces the duration of metal thermal treatment for ferrite- pearlite and ferrite-pearlite-bainite structures compared to other technological processes of steel spheroidization. 11

The practical significance of the obtained results. The multiprocessor computing technologies developed in the dissertation aim to research a wide range of applied problems and significantly increase the productivity, efficiency, and accuracy of experimental data processing. Models, methods, and hardware are presented as software and industrial samples. The creation of the following opportunities determines the practical value of the conducted research: – apply the developed model of a multiprocessor system with multidimensional aggregation of network interface channels as an integrated environment to ensure the distributed design of software and hardware tools for parameters’ automated control of modern technological processes; – to implement the modification process of the developed computer system to guarantee the necessary performance evaluations as a result of the study of a certain class of applied problems due to the multidimensional aggregation of network interface channels and the necessary set of standard system components; – to implement the process of designing a multiprocessor system for parameters’ automated control of modern technological processes with simultaneous assessment of productivity and acceleration of computations; – due to a processor module with a new generation TCA interface and an SSD hard disk with the NVMe interface to reduce the operating system loading time on the main node by 180 %, on the slave nodes by 320 %; reduce the time of software reorganization of the network interface by 530 %; to reduce the time for processing, transmitting and storing intermediate and final computations results by 250 %; to reduce the processing time of system statistical data by 240 %; – due to VLAN virtual local networks and multidimensional aggregation of network interface channels, increase the network interface port bandwidth from 200 Mb/s to 800 Mb/s, which increases the speed of data exchange among nodes of a multiprocessor system by four times; – significantly reduce the processing experimental data time and increase the computation performance by a multiprocessor system with multidimensional aggregation of network interface channels; 12

– to significantly reduce the number of field tests and the time to conduct them due to the use of distributed computing experiments while obtaining the necessary information by developed mathematical models and program complexes; – to improve the technological process of metal thermal treatment by appropriate mathematical models and set of programs; the mathematical models’ application processed on a multiprocessor computer system allows to control of the temperature field of the metal during its heating, aging, and cooling and thus ensures the rapid adaptation of the metal products production to the consumer requirements. The materials of the "Installation for intensification of spheroidizing steel annealing" patent are used in the production process for recrystallization and spheroidization of calibrated steel used for manufacturing high-strength fasteners by the cold forging method. The experience of implementing network technologies for multiprocessor systems was reflected in the monograph "Actual trends in the development of the technical and production potential of the national economy." It was introduced into the educational process of students of the relevant specialty. The results of the dissertation were implemented with confirmation by relevant acts in the activities of the following organizations: – enterprises: the closed joint-stock company of "CENTRAVIS PRODUCTION UKRAINE", companies limited liability "Jordon", companies limited liability "KMD"; – research organization: state enterprise "Ukrainian Institute of Design of Metallurgical Plants"; – higher educational establishments: the Western Ukrainian National University, Ukrainian state university science and technologies, closed joint-stock company of the "Dnepr university the name of Alfred Nobel". In addition, the results of dissertation are inculcated and confirmed by corresponding acts at development of scientific themes of research with the next numbers of state registration : 0116U006782, 0121U109528, 0120U105547.