Data Human
Data Engineering
курсы для начинающих
Весь курс за $50 - платишь один раз, получаешь все модули навсегда.Нынешние и будущие, без доплат.
Программа курса
Понятный вход в Data Engineering через практику. С поддержкой наставника и сокурсников.
Практические проекты
Каждый проект - это реальная бизнес-проблема. Ты не упражняешься в вакууме, ты помогаешь бизнесу принимать решения на основе данных.
Чтение CSV-файла стандартными средствами Python.
Поиск хита продаж с помощью функции
Забираем реальный научный каталог GWTC от обсерватории LIGO - без ключей и регистрации.
Поднимаем ClickHouse в Docker одной командой и грузим данные Python-скриптом.
Обогащаем данные: классифицируем слияния по массам объектов (чёрные дыры / нейтронные звезды).
SQL-аналитика: типы слияний, рекорды каталога, связь массы и расстояния.
Дашборд на Streamlit: реальные события космического масштаба на графиках.
Apache Airflow + ClickHouse: поднимаем окружение через Docker Compose.
Два DAG-а и слои данных: один собирает координаты МКС, второй обогащает их страной.
Расписание раз в минуту, retry при ошибках, чтение логов.
SQL-аналитика: над какими странами МКС летит чаще всего и трек за 30 минут.
Дашборд на Streamlit: трек станции на карте и графики по странам.
Самый сложный модуль: streaming на Kafka, ClickHouse и Metabase.
Продукт - EEG-датчик против засыпания (в каску, кепку, ободок) для автопарков, дальнобоя, горнодобычи и тяжёлых производств.
Строим облачный аналитический слой: устройства шлют поток ЭЭГ, а мы принимаем и обрабатываем его на сервере.
Эмулятор нейро-устройства пишет поток в Kafka; ClickHouse сам вычитывает его через Kafka engine.
Считаем фичу на лету в потоковом консьюмере (скользящие окна) и размечаем закрытие глаз с калибровкой.
Контроль качества данных, идемпотентность, consumer lag и надёжность потока.
Живой дашборд в Metabase поверх ClickHouse.
ClickHouse + DBeaver: поднимаем аналитическую БД в Docker.
Генерация и загрузка данных о поездках таксопарка.
SQL-аналитика: топ водителей по выручке без Excel.
Генерация синтетических данных и загрузка в ClickHouse.
Построение staging-слоя и витрин с помощью dbt.
Документация, lineage-граф и упаковка проекта в Git.
Data stack
Карьерная программа
Оформление профиля: структура About, Headline, Featured, настройки Open to Work.
Развитие сети контактов: кого добавлять, как комментировать и разгонять профиль.
Посты: как показать, что ищешь работу, не говоря об этом прямо - 5 идей.
Структура поста для поиска работы и шаблон сопроводительного письма.
Аутрич и самопрезентация: как выходить на нужных людей напрямую.
Общие рекомендации по поиску работы
Наша сеть Telegram-каналов и чатов: вакансии и сообщества дата-инженеров по странам - Global, Кипр, Беларусь, Грузия, Казахстан, Кыргызстан, Узбекистан и др.
База из 100 компаний с корнями из СНГ - Fintech, AI/Data, DevTools, SaaS, Gaming, Health, EdTech и другие. Знакомый контекст как первый шаг на международный рынок.
Что нужно знать
Список навыков для уровня Junior уже готов - ориентир, что знать и до какой глубины. Карты для Middle и Senior появятся в будущем.
Какие технологии и до какой глубины нужны, чтобы начать работать junior Data Engineer.
Что отличает middle от junior: оркестрация, моделирование данных, оптимизация.
Архитектура платформы, производительность и масштаб, надёжность, governance.
У нас легкое ознакомление с Data Engineering
Отзывы
Эрик, это просто какой-то разрыв мозга в хорошем смысле 😄 Я вообще не ожидал, что за сутки смогу настолько глубоко погрузиться в инженерию данных. Буквально вчера я был человеком, который вообще не трогал Ubuntu, Docker, Airflow, ClickHouse, PostgreSQL, VS Code и Python, а сегодня у меня уже крутится собственный пайплайн с реальными данными МКС. И самое главное - это не ощущалось как "сухой курс". Это было ощущение, будто я реально прикоснулся к инженерии. Когда ты первый раз читаешь логи, дебажишь ошибку, находишь суть проблемы, правишь схему таблицы и после этого видишь долгожданный SUCCESS - это какая-то магия. Словами не описать эмоции радости)) Особенно поразило, как быстро начинает меняться мышление. Ты уже начинаешь смотреть не как "пользователь компьютера", а как человек, который управляет системой: сервисами, данными, контейнерами, пайплайнами. И отдельно спасибо за подачу. Очень чувствуется, что курс делал практик, а не человек, который просто пересказывает документацию. Всё максимально живое и настоящее. Я в полном восторге. Огромное спасибо 🔥
Хоть это и минимальный и очень простенький проект, но какая-никакая практика с очень вкусным и современным стеком для вкатунов - польза огромная, написано всё очень понятно, без лишнего, не справиться с чем-то крайне тяжело. Код DAG'а разобран достаточно, важные его настройки упомянуты, оч понравилось. Ещё очень приятно было увидеть блок с аналитикой. Просто мало кто из тех, кто вкатывается, думает о работе ДЕ с этой стороны, как по мне ДЕ важно понимать, как люди пишут аналитические вопросы с данными, которые они предоставляют. Учитывая, что это только один блок из множества, мне уже кажется, что курс получится очень здоровским.
Прошёл модуль - хочу сказать, это прекрасная работа! 🌟 Особенно хочу подчеркнуть внимание к деталям. Проблем на Windows никаких не возникло (тут можно обойтись без предоставления прав к папке). Единственное, что пришлось уточнять - это что за функция такая в clickhouse "toStartOfFiveMinutes()", ну и чутка подробнее вникать в якорение. Круто и интересно, мне очень понравилось! 👍 🔥 Да, иногда приходится ждать подольше, когда стартанёт airflow, когда появится dag - и конечно, очень хорошо, что в тексте указано, что следует иметь терпение и подождать) Ты молодец! 🔥 Спасибо за возможность изучить материал))
Ещё больше отзывов в телеграм-канале курса по тегу #review.
Ранний доступ
Курс активно дорабатывается, новые модули выходят регулярно. Чем раньше зайдёшь — тем дешевле весь курс навсегда.
Из блога
Страх перед новой технологией
Почему страх перед новой технологией лечится не документацией, а одним запустившимся примером - и как я строю на этом курс.
Манящая эстетика данных
О том, чем работа с данными притягательна - от карьеры до гипотезы "it from bit".
Работа с данными как тренажёр мышления
Взгляд психолога на то, почему работа с данными делает голову спокойнее и структурнее.
Я постоянно в сети
Я постоянно веду сеть Telegram-каналов и чатов по Data Engineering — 3600+ участников из разных стран. Регулярно публикую материалы, делюсь вакансиями и новостями. Возник вопрос по курсу — пиши, постараюсь ответить.
Присоединяйся к комьюнити
Приглашаем тебя в наш дружный чат участников курса по Data Engineering!Параллельные инициативы команды - заглядывайте, если интересна тема.