Создание высокопроизводительных распределенных систем — задача не из легких. Но с помощью Kombu и обменов по темам это становится проще. Мы расскажем, как построить компактную систему маршрутизации задач, которая может стать основой для более сложных микросервисных архитектур.
В этом руководстве вы узнаете, как создать обмен по темам, настроить ключи маршрутизации и очереди, а также реализовать фоновые рабочие процессы, которые могут обрабатывать задачи параллельно. Все это позволит вам наблюдать за работой распределенной системы от начала до конца. Примеры кода и рабочая тетрадь доступны на GitHub автора.
Начало работы
Для начала установите Kombu и импортируйте необходимые библиотеки. Настройте логирование для вывода сообщений в stdout и укажите URL брокера. Пример использует брокер в памяти, что позволяет запускать все локально без необходимости в RabbitMQ.
Обмен и очереди
Используйте обмен по темам для маршрутизации сообщений с ключами маршрутизации, поддерживающими подстановочные знаки. В примере создается обмен media_exchange, к которому привязаны две очереди: video_queue и audit_queue.
Реализация рабочих процессов
Кастомный класс рабочего процесса реализован с использованием Kombu’s ConsumerMixin. Рабочий процесс получает сообщения из настроенных очередей, обрабатывает их и подтверждает после обработки.
Запуск системы
Пример запускает рабочий процесс в фоновом потоке, а основная нить публикует сообщения через функцию производителя. Наблюдая за логами, вы увидите весь жизненный цикл сообщений.
Эта система демонстрирует, как обмены по темам обеспечивают гибкую маршрутизацию, а также как рабочие процессы могут быть масштабированы независимо друг от друга. Это основа для создания более сложных, производственных микросервисов.