СУБД. Лекция 1

Знакомство

Алехин Владислав, Senior Bigdata Engineer

• почти 5 лет работал в VK (BigData Engineer, DWH AdTech)
• 5 лет преподаю в Технопарке

Знакомство, введение в реляционные базы данных

• Обзор курса
• Краткое введение в историю баз данных
• Введение в реляционные базы данных
• Реляционная алгебра
• Введение в SQL

Организационные моменты

• Не забывайте отмечаться на лекциях!
• Оставляйте обратную связь по завершению лекции!

Правила игры

• 10 лекций по реляционным СУБД;
• 3 лекции по NoSQL;
• 2 РК в системе Технотест;
• 4 оцениваемые работы по командным проектам;

Слайды доступны по адресу: https://3kybika.github.io/technopark-dbms-lectures/

Контроль знаний

• Рубежные контроли;
• Разработка проекта;
• Пересдачи.

Интересные факты

• Реляционная база данных Yahoo > 2 петабайт¹
• Архив с базой данных OpenStreetMap занимает порядка 1.69Тб²
• Практически ни одно приложение не обходится без БД
• Отсутствие готовых решений
• Установочные .msi файлы для Windows - это БД
• В большинстве вакансий разработчика упоминается SQL, по данным hh.ru

Зачем вообще нужны СУБД?

Допустим, мы реализуем приложение "Поваренная книга" для хранения рецептов.

• Восстановление после сбоев;
• Многопользовательский доступ;
• Производительность;
• Резервное копирование.

Стоимость типовых операций

• https://gist.github.com/jboner/2841832
• https://colin-scott.github.io/personal_website/research/interactive_latency.html
• http://ithare.com/infographics-operation-costs-in-cpu-clock-cycles/

Задача курса

• Язык запросов SQL.
• Проектирование реляционных баз данных.
• Оптимизация запросов и схем данных.
• High-Load и Big Data.
• Администрирование и настройка серверов БД.
• NoSQL и его использование в WEB.

Проектирование и диаграммы

• Нормализация
• DDL

SQL

• CRUD
• Транзакции
• Хранимые процедуры
• Триггеры

Оптимизация

“Ну и запросы у вас” - сказала база данных и повисла.

• EXPLAIN
• Протоколирование
• Индексы
• Денормализация

Администрирование

• Конфигурирование
• Репликация
• Резервное копирование
• Пользователи и права
• SQL-injections

High-Load и Big Data

• Обзор проблем и подходов к их решению
• Репликация
• Шардирование
• Особенности архитектуры

Кратенькая история

• 3600 до н.э. - глиняные таблички у древних шумеров;
• 1966 г. - появление MUMPS;
• 1968 г. - первая промышленная СУБД система IMS фирмы IBM;
• 1972 г. - компания IBM начала исследовательский проект по разработке РСУБД;
• 1979 г. - выход первой РСУБД Oracle;
• 1980 г. - появление dBase II;
• 1981 г. - появление IBM PC;
• 1982 г. - выход DB2 фирмы IBM;
• 1993 г. - выход Intel Pentium, Seagate Medalist 425xe 428.1MB HDD;
• 1994 г. - выход Oracle для PC;
• 1995 г. - появление MySQL;
• 1996 г. - появление PostgreSQL;
• 2005 г. - появление Hadoop;
• 2009 г. - появление MongoDB.

Реляционные БД

• Поддержка нескольких СУБД может быть полезна для тестирования;
• Стандарты позволяют использовать чужие наработки, например системы отчетов;
• Аналитики часто знают SQL.

NoSQL

• Концепция Map-Reduce
• Краткий обзор существующих решений
• Tarantool

Литература

• Дейт К. Дж. Введение в системы баз данных
• https://postgrespro.ru/education/books
• https://www.postgresql.org/docs/
• https://postgrespro.ru/docs/postgresql/current/index
• https://use-the-index-luke.com/

Определение БД

База данных (БД)

Это взаимосвязанная информация (данные) об объектах, которая организованна специальным образом и хранится на каком-либо носителе.

Реляционная модель данных

Терминология

Домен

Тип данных, то есть допустимое множество значений.

Кортеж

Множество пар {имя атрибута, значение}, которое содержит одно вхождение каждого имени атрибута, принадлежащего схеме отношения.

Отношение

Множество кортежей (не упорядоченное).

Целостность базы данных

Соответствие имеющейся в базе данных информации её внутренней логике, структуре и всем явно заданным правилам.

Реляционная модель данных

Реляционная алгебра

• Выборка
• Проекция
• Объединение
• Пересечение
• Разность
• Произведение
• Деление
• Соединение

Выборка (A WHERE c)

Персоны

`sigma_("Возраст" >= 34)("Персоны")`

SELECT * FROM "Персоны" WHERE "Возраст" >= 34

Проекция (PROJECT A {x, y, …, z})

Персоны

`Pi_("Возраст", "Вес")("Персоны")`

SELECT DISTINCT "Возраст", "Вес" FROM "Персоны"

Объединение (A UNION B)

`"Персоны" uu "Персонажи"`

SELECT * FROM "Персоны" UNION SELECT * FROM "Персонажи"

Пересечение (A INTERSECT B)

`"Персоны" nn "Персонажи"`

SELECT * FROM "Персоны"
NATURAL JOIN "Персонажи"

Разность (A MINUS B)

`"Персоны" \\ "Персонажи"`

SELECT * FROM "Персоны"
NATURAL LEFT JOIN "Персонажи"
WHERE "Персонажи" IS NULL

Произведение (A TIMES B)

`"Мультфильмы" xx "Каналы"`

SELECT * FROM "Персоны", "Персонажи"

Деление (A DIVIDEBY B)

SELECT "Код_Мульта", "Название_Мульта"
FROM "Мультфильмы"
JOIN "Каналы" USING ("Название_Канала")
GROUP BY "Код_Мульта", "Название_Мульта"
HAVING COUNT(DISTINCT "Название_Канала") = (
    SELECT COUNT(DISTINCT "Название_Канала") FROM "Каналы"
)

Соединение ((A TIMES B) WHERE P)

`"Мультфильмы" ⋈ "Каналы"`

SELECT *
FROM "Мультфильмы"
JOIN "Каналы" ON ("Название_Канала" = "Код_Канала")

SQL