Apache Kafka est une plateforme open source distribuée de streaming d’événements, utilisée par des milliers d’entreprises pour des pipelines de données hautes performances, l’analytique en temps réel, l’intégration de données et des applications critiques. ClickHouse propose plusieurs options pour lire à partir de et écrire dans Kafka et d’autres brokers compatibles avec l’API Kafka (par exemple, Redpanda, Amazon MSK).
Le choix de l’option la plus adaptée à votre cas d’usage dépend de plusieurs facteurs, notamment du type de déploiement de ClickHouse, du sens du flux de données et des exigences opérationnelles.
Pour une comparaison plus détaillée de ces options, consultez Choisir une option.
ClickPipes est une plateforme d’intégration managée qui simplifie l’ingestion de données depuis un large éventail de sources au point de la réduire à quelques clics. Entièrement gérée et conçue spécifiquement pour les charges de travail de production, ClickPipes réduit considérablement les coûts d’infrastructure et d’exploitation, en évitant le recours à des outils externes de streaming de données et d’ETL.
C’est l’option recommandée si vous utilisez ClickHouse Cloud. ClickPipes est entièrement géré et conçu spécifiquement pour offrir les meilleures performances dans les environnements Cloud.
Fonctionnalités principales
- Optimisé pour ClickHouse Cloud, avec des performances ultra-rapides
- Scalabilité horizontale et verticale pour les charges de travail à haut débit
- Tolérance aux pannes intégrée avec des répliques configurables et des nouvelles tentatives automatiques
- Déploiement et gestion via l’interface de ClickHouse Cloud, l’Open API ou Terraform
- Sécurité de niveau entreprise avec prise en charge de l’autorisation cloud-native (IAM) et de la connectivité privée (PrivateLink)
- Prend en charge un large éventail de sources de données, notamment Confluent Cloud, Amazon MSK, Redpanda Cloud et Azure Event Hubs
- Prend en charge la plupart des formats de sérialisation courants (JSON, Avro, Protobuf)
Pour commencer à utiliser ClickPipes for Kafka, consultez la documentation de référence ou accédez à l’onglet Data Sources dans l’interface de ClickHouse Cloud.
Kafka Connect est un framework open-source qui sert de hub de données centralisé pour faciliter l’intégration de données entre Kafka et d’autres systèmes de données. Le connector ClickHouse Kafka Connect Sink offre une option évolutive et hautement configurable pour lire des données depuis Apache Kafka et d’autres brokers compatibles avec l’API Kafka.
Il s’agit de l’option recommandée si vous recherchez une grande flexibilité de configuration ou si vous utilisez déjà Kafka Connect.
Fonctionnalités principales
- Peut être configuré pour garantir un traitement exactly-once
- Prend en charge les formats de sérialisation les plus courants (JSON, Avro, Protobuf)
- Testé en continu avec ClickHouse Cloud
Pour bien démarrer avec ClickHouse Kafka Connect Sink, consultez la documentation de référence.
Le moteur de table Kafka peut être utilisé pour lire des données depuis Apache Kafka et d’autres brokers compatibles avec l’API Kafka, ainsi que pour y écrire des données. Cette option est incluse dans la version open-source de ClickHouse et est disponible pour tous les types de déploiement.
Il s’agit de l’option recommandée si vous autohébergez ClickHouse et recherchez une solution simple à mettre en œuvre, ou si vous devez écrire des données dans Kafka.
Fonctionnalités principales
- Peut être utilisé pour lire et écrire des données
- Inclus dans la version open source de ClickHouse
- Prend en charge les formats de sérialisation les plus courants (JSON, Avro, Protobuf)
Pour bien démarrer avec le moteur de table Kafka, consultez la documentation de référence.
-
Confluent Cloud - Confluent Platform permet de téléverser et d’exécuter ClickHouse Connector Sink sur Confluent Cloud, ou d’utiliser HTTP Sink Connector for Confluent Platform, qui intègre Apache Kafka à une API via HTTP ou HTTPS.
-
Vector - Vector est un pipeline de données indépendant des fournisseurs. Sa capacité à lire les données depuis Kafka et à envoyer des événements vers ClickHouse en fait une option d’intégration robuste.
-
JDBC Connect Sink - Le connector JDBC Sink de Kafka Connect vous permet d’exporter des données depuis des topics Kafka vers n’importe quelle base de données relationnelle disposant d’un JDBC driver.
-
Code personnalisé - Du code personnalisé utilisant Kafka et les bibliothèques clientes de ClickHouse peut convenir lorsque des traitements personnalisés des événements sont nécessaires.
