- Регистрация
- 8 Сен 2016
- Сообщения
- 483.861
- Реакции
- 268.180
Apache Kafka для разработки и архитектуры | Яндекс Практикум
Навыки работы с Apache Kafka нужны всем, кто хочет влиять на масштабируемость и надёжность систем:
Бэкенд-разработчикам: сможете создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени.
Архитекторам: научитесь создавать распределённые системы с высокой степенью интеграции и обеспечивать консистентность данных.
DevOps-инженерам: освоите инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, чтобы стало проще управлять инфраструктурой.
Инженерам данных: научитесь строить конвейеры данных, чтобы обеспечить их передачу из различных источников в системы хранения и обработки.
Курс подойдёт вам, если:
- Знаете один из языков: Java, Python или Golang.
- Понимаете принципы работы с базами данных SQL и NoSQL.
- Обладаете базовыми знаниями об архитектуре распределённых систем.
- Умеете работать с Linux.
Что будете уметь через 3 месяца:
- Настраивать Apache Kafka для своих задач и оптимизировать производительность.
- Работать с производителями и потребителями сообщений.
- Обеспечивать надёжность и отказоустойчивость систем.
- Интегрировать Kafka с внешними системами.
- Проектировать и реализовывать потоковые пайплайны данных.
- Настраивать мониторинг кластеров Kafka и управлять им.
Технологии, которые вы сможете применять в работе:
- Apache Kafka
- Kafka Connect
- Kafka Streams
- Интеграция Kafka с Apache Spark
- Интеграция Kafka с Apache Flink
- Интеграция Kafka с Apache Hadoop
- Интеграция Kafka с базами данных
- Kafka MirrorMaker
- Kafka REST Proxy
- Schema Registry
Программа:
1) Введение в Apache Kafka:
- Основные концепции и терминология
- Архитектура Kafka
- Установка и настройка Kafka-кластера
2) Продюсеры и консьюмеры:
- Создание и конфигурация продюсеров
- Создание и конфигурация консьюмеров
- Сериализация и десериализация данных
3) Топики и партиции:
- Создание и конфигурация топиков
- Понимание партиций и их роли в масштабировании
- Репликация данных для обеспечения отказоустойчивости
4) Развертывание базового кластера Kafka:
- Установка Kafka и ZooKeeper или Kraft
- Создание топиков и работа с сообщениями
5) Kafka Streams:
- Введение в Kafka Streams
- Разработка приложений потоковой обработки данных
- Агрегация, фильтрация и преобразование данных
6) Kafka Connect:
- Основы Kafka Connect и Debezium
- Разработка коннекторов для интеграции с внешними системами
- Конфигурация и развёртывание коннекторов
7) Безопасность в Kafka:
- Аутентификация и авторизация
- Шифрование данных
- Настройка безопасности в Kafka-кластере
8) Разработка поточного пайплайна данных:
- Интеграция Kafka с базами данных
- Построение поточного пайплайна данных
9) Администрирование Kafka:
- Мониторинг и управление Kafka-кластером
- Настройка производительности и оптимизация
- Решение проблем и устранение неполадок
10) Kafka в продакт среде:
- Развёртывание Kafka в продакшен-среде
- Масштабирование и высокая доступность
- Резервное копирование и восстановление данных
11) Интеграция Kafka с экосистемой Big Data:
- Интеграция с Apache Spark
- Интеграция с Apache Hadoop
- Сценарии использования Kafka в проектах Big Data
12) Финальный проект:
- Разработка масштабируемого приложения обработки данных в реальном времени с использованием Kafka, Kafka Streams и интеграции с Apache Spark
Старт: 3 июля 2024
Цена: 86000 руб
Для просмотра скрытого содержимого вы должны зарегистрироваться
Возможно, Вас ещё заинтересует:
- Кишечник. Гормоны. Иммунитет. Метаболическое питание [Валерия Изюмова, Александр Исаев]
- Арт-интенсив Цвет. Искусство цвета: секреты гармоничных сочетаний [Саша Плотникова]
- Идеальная баня [Василий Ляхов]
- Избавление от мучительной боли одиночества [Андрей Патрушев]
- [ИИ] Чат-бот с искусственным интеллектом ChatGPT [openai.com] Team №9 на 1 месяц по 10 человек
- Время праздновать! Книга-лекарство от обесценивания, суеты и дня сурка [Анна Черных]
- Дайте денег, работу не предлагать. Книга-практикум по решению психологических проблем с финансами [Марина Гогуева]
- Все под контролем! Как быть усидчивым, внимательным и спокойным, даже если у тебя СДВГ [Лоуренс Шапиро]