Скачать Apache Kafka для разработки и архитектуры [Яндекс Практикум]

[Kevin]

**Apache Kafka для разработки и архитектуры [Яндекс Практикум]**

Навыки работы с Apache Kafka необходимы каждому, кто стремится повлиять на масштабируемость и надёжность систем.

- *Бэкенд-разработчики* смогут создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени.

- *Архитекторы* научатся создавать распределённые системы с высокой интеграцией и обеспечением консистентности данных.

- *DevOps-инженеры* освоят инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, что упростит управление инфраструктурой.

- *Инженеры данных* освоят построение конвейеров данных для передачи из различных источников в системы хранения и обработки.

Курс подходит для тех, кто:
- Знает Java, Python или Golang.
- Понимает принципы работы с базами данных SQL и NoSQL.
- Имеет базовые знания об архитектуре распределённых систем.
- Обладает опытом работы с Linux.

Через 3 месяца вы сможете:
- Настраивать Apache Kafka для своих задач и оптимизировать производительность.
- Работать с производителями и потребителями сообщений.
- Обеспечивать надёжность и отказоустойчивость систем.
- Интегрировать Kafka с внешними системами.
- Проектировать и реализовывать поточные пайплайны данных.
- Настраивать мониторинг и управление кластерами Kafka.

Технологии, которые будут использоваться в работе:
- Apache Kafka
- Kafka Connect
- Kafka Streams
- Интеграция Kafka с Apache Spark, Apache Flink, Apache Hadoop, базами данных, Kafka MirrorMaker, Kafka REST Proxy, Schema Registry.

**Программа:**
1. Введение в Apache Kafka: основные концепции, архитектура, установка и настройка кластера.
2. Продюсеры и консьюмеры: создание и конфигурация, сериализация и десериализация данных.
3. Топики и партиции: создание и конфигурация, роль партиций в масштабировании, репликация данных.
4. Развертывание базового кластера Kafka: установка Kafka и ZooKeeper/Kraft, работа с топиками и сообщениями.
5. Kafka Streams: основы, разработка приложений для потоковой обработки данных.
6. Kafka Connect: интеграция с внешними системами, конфигурация и развертывание коннекторов.
7. Безопасность в Kafka: аутентификация, авторизация, шифрование данных.
8. Разработка поточного пайплайна данных: интеграция с базами данных, построение поточных пайплайнов.
9. Администрирование Kafka: мониторинг, управление, настройка производительности и оптимизация.
10. Kafka в продакт среде: развёртывание, масштабирование, резервное копирование.
11. Интеграция Kafka с экосистемой Big Data: Apache Spark, Apache Hadoop и сценарии использования в проектах Big Data.
12. Финальный проект: разработка приложения обработки данных в реальном времени с использованием Kafka, Kafka Streams и интеграции с Apache Spark.

**Старт:** 3 июля 2024
**Цена:** 86000 руб.

Для просмотра скрытого содержимого вы должны зарегистрироваться