Простое введение в пакет TIMi

Как устроены инженерия данных и аналитика

Academy также объясняет базовые понятия, на которых строятся современные инфраструктуры данных.

Эти материалы помогают понять, как работают аналитические системы и как проектировать эффективные архитектуры данных.

Темы:

Интеграция данных (ETL)

Хранилища данных

Отчётность и BI

CRM-системы

В каждой теме разбираются и технические концепции, и их практическое применение в реальных организациях.

2 разных подхода

Аналитический CRM делится на две категории: инструменты на основе сегментации и инструменты на основе предиктивных методов.

Сегментация по своей природе хорошо подходит для исследовательской работы. Предиктивная аналитика, напротив, по своей природе дискриминативна. Инструменты аналитического CRM на основе предиктивных методов обычно дают более высокий ROI маркетинговых кампаний.

Чтобы понять, какая из двух предиктивных моделей лучше (у какой выше точность и ROI), сравнивайте ТОЛЬКО «lift-кривые, построенные на ТЕСТОВОМ наборе данных», и по возможности всегда используйте один и тот же ТЕСТОВЫЙ набор.

Если построить модель, которая не делает ни одной ошибки на «обучающем наборе», мы получим модель, которая плохо работает на данных, которых она не видела.

«Обобщающая способность» такой модели низкая. Модель опирается на информацию, которая на самом деле была шумом. Это явление называется переобучением (overfitting).

Переобученная модель может показывать точность 100 % на обучающем наборе.