Apache Kafka для разработки и архитектуры [Яндекс Практикум]

[Kevin]

**Apache Kafka для разработки и архитектуры - [Яндекс Практикум]**

Навыки работы с Apache Kafka необходимы каждому, кто хочет влиять на масштабируемость и надёжность систем:

- **Бэкенд-разработчикам** смогут создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени.

- **Архитекторам** научатся создавать распределённые системы с высокой степенью интеграции и обеспечивать консистентность данных.

- **DevOps-инженерам** освоят инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, упрощающие управление инфраструктурой.

- **Инженерам данных** научатся строить конвейеры данных для передачи из различных источников в системы хранения и обработки.

**Требования к участникам:**

- Знание Java, Python или Golang.
- Понимание работы с базами данных SQL и NoSQL.
- Базовые знания архитектуры распределённых систем.
- Опыт работы с Linux.

**После прохождения программы в течение 3 месяцев вы научитесь:**

- Настраивать Apache Kafka для своих задач и оптимизировать производительность.
- Работать с производителями и потребителями сообщений.
- Обеспечивать надёжность и отказоустойчивость систем.
- Интегрировать Kafka с внешними системами.
- Проектировать и реализовывать потоковые пайплайны данных.
- Настраивать мониторинг и управление кластерами Kafka.

**Инструменты, которые будут использоваться:**

- Apache Kafka.
- Kafka Connect.
- Kafka Streams.
- Интеграция Kafka с Apache Spark, Apache Flink, Apache Hadoop и базами данных.
- Kafka MirrorMaker, Kafka REST Proxy, Schema Registry.

**Программа обучения включает:**

1. Введение в Apache Kafka: концепции, терминология, архитектура, установка и настройка кластера.
2. Продюсеры и консьюмеры: создание, конфигурация, сериализация и десериализация данных.
3. Топики и партиции: создание, конфигурация, роль в масштабировании, репликация данных.
4. Развертывание базового кластера Kafka: установка, работа с сообщениями.
5. Kafka Streams: разработка приложений потоковой обработки данных.
6. Kafka Connect: разработка коннекторов, интеграция с внешними системами.
7. Безопасность в Kafka: аутентификация, авторизация, шифрование данных.
8. Разработка поточного пайплайна данных: интеграция с базами данных, построение пайплайна.
9. Администрирование Kafka: мониторинг, управление, оптимизация, устранение неполадок.
10. Применение Kafka в продакшене: развёртывание, масштабирование, резервное копирование данных.
11. Интеграция Kafka с Big Data: Apache Spark, Apache Hadoop, сценарии использования.
12. Финальный проект: разработка приложения с использованием Kafka, Kafka Streams и интеграции с Apache Spark.

**Дата старта: 3 июля 2024
Стоимость: 86000 руб**

Для просмотра скрытого содержимого вы должны зарегистрироваться