У конспекті лекцій з курсу «Аналіз та обробка великих даних» подано теоретичні основи аналізу великих даних та нереляційних баз даних. Здобувач ознайомиться з архітектурами розподілених систем, бібліотекою Apache Spark та її інтерфейсом до мови програмування Python, поняттям кадру даних, особливостями роботи та операціям з ним, методами розподіленого машинного навчання, створенням та роботою з нереляційними базами даних, зокрема MongoDB.

Машинне навчання – це цілий світ і при розробці цього курсу ми активно користувалися багатьма джерелами. Найпростіший і очевидніший приклад – це класифікація зображень.

Найпопулярнішим інструментом аналітиків виступають бази даних. Всі бізнес-процеси та функції зводяться до обробки та візуалізації даних, що зберігаються в базах даних. Ефективність прийняття бізнес-рішень залежить від того, наскільки якісно і правильно було відібрано та проаналізовано дані. Саме на основі аналізу даних будуються гіпотези, проводяться тестування та генеруються рішення про продукт. Таким чином, головними навичками системного аналітика є володіння мовою SQL, структурою SQL-запитів, основними аналітичними функціями SQL, а також вміння використовувати віконні функції при написанні запитів, розробляти OLAP-куби для проведення ефективного аналізу, створювати інтерактивні звіти та дашборди.

Викладено основи мови створення запитів до бази даних SQL, розглянуто структуру SQL-запитів, аналітичні функції мови як найбільш популярного інструменту для проведення аналізу інформації, що зберігається в базах даних. З’ясовано застосування віконних функцій у проведенні аналітичних досліджень і встановлено їхню перевагу порівняно із звичайними функціями агрегації, а також описано способи візуалізації розрахованих даних у процесі розв'язування професійних задач аналітики.

Розглянуто теоретичні засади систем розподіленої обробки даних та нереляційних баз даних. Описано процедуру конфігурації, типові запити та функції таких систем. Наведено приклади розв’язку практичних задач за наведеними алгоритмами.

У конспекті лекцій з курсу «Самонавчання складних систем» подано теоретичні основи різних типів нейронних мереж, методи їх навчання, наведено способи використання в різних сферах. Здобувач ознайомиться не лише з методами, які вже широко використовуються на практиці, але й передовими науковими здобутками, зокрема генеративним штучним інтелектом.

Містять основні вимоги щодо методики написання, оформлення та захисту кваліфікаційної роботи здобувачами ступеня магістра, критерії оцінювання роботи. У додатках наведено приклади оформлення титульного аркуша, завдання на виконання роботи, реферату, відомості матеріалів кваліфікаційної роботи, списку використаних джерел.

Машинне навчання – це один з методів функціонування штучного інтелекту, що вивчає методи побудови алгоритмів, здатних навчатися.

У цьому виданні розглянуто методологію та основні інструменти управління розвитком складних систем, наведено приклади виконання практичних завдань з тематики управління організаціями, зокрема системний підхід. Уміщено питання для самоконтролю засвоєння знань, перелік використаної та рекомендованої для поглибленого вивчення курсу літератури.

Посібник адресовано здобувачам ступеня магістра, які проходять підготовку за спеціальністю 124 Системний аналіз галузі знань 12 Інформаційні технології.