АНАЛІЗ ТА ОБРОБКА ВЕЛИКИХ ДАНИХ : конспект лекцій

Abstract

У конспекті лекцій з курсу «Аналіз та обробка великих даних» подано теоретичні основи аналізу великих даних та нереляційних баз даних. Здобувач ознайомиться з архітектурами розподілених систем, бібліотекою Apache Spark та її інтерфейсом до мови програмування Python, поняттям кадру даних, особливостями роботи та операціям з ним, методами розподіленого машинного навчання, створенням та роботою з нереляційними базами даних, зокрема MongoDB.Завдяки завданням здобувач ознайомиться з інструментарієм обробки та аналізу великих даних: бібліотеками Apache Spark і PySpark, нереляційною базою даних MongoDB, мовою програмування Python для аналізу великих даних. Здобувач навчиться збирати, зберігати, оброблювати та аналізувати великі масиви даних; будувати моделі регресії та класифікації, використовуючи великі набори даних, та робити передбачення на нових, невідомих вхідних значеннях; опанує нереляційні бази даних для зберігання та обробки великих даних.