تكامل Kafka مع ClickHouse

مقدمة عن Kafka مع ClickHouse

تُعد Apache Kafka منصة مفتوحة المصدر وموزعة لتدفق الأحداث، وتستخدمها آلاف الشركات لإنشاء خطوط أنابيب بيانات عالية الأداء، وتحليلات البث، وتكامل البيانات، والتطبيقات بالغة الأهمية. يوفّر ClickHouse عدة خيارات للقراءة من Kafka وللكتابة إليه، وكذلك للتعامل مع الوسطاء الآخرين المتوافقين مع واجهة برمجة تطبيقات Kafka (مثل Redpanda وAmazon MSK).

​

الخيارات المتاحة

يعتمد اختيار الخيار الأنسب لحالة استخدامك على عدة عوامل، بما في ذلك نوع نشر ClickHouse لديك، واتجاه تدفق البيانات، والمتطلبات التشغيلية.

الخيار	نوع النشر	مُدار بالكامل	Kafka إلى ClickHouse	ClickHouse إلى Kafka
ClickPipes for Kafka	Cloud, BYOC (قريبًا!)	✅	✅
Kafka Connect Sink	Cloud, BYOC, Self-hosted		✅
محرك جدول Kafka	Cloud, BYOC, Self-hosted		✅	✅

للاطلاع على مقارنة أكثر تفصيلاً بين هذه الخيارات، راجع اختيار الخيار المناسب.

​

ClickPipes for Kafka

تُعد ClickPipes منصة تكامل مُدارة تجعل إدخال البيانات من مجموعة متنوعة من المصادر سهلًا للغاية ولا يتطلب سوى بضع نقرات. ولأنها مُدارة بالكامل ومصممة خصيصًا لأعباء العمل في بيئات الإنتاج، فإن ClickPipes تخفّض بشكل كبير تكاليف البنية التحتية والتشغيل، وتُلغي الحاجة إلى أدوات خارجية لبث البيانات وعمليات ETL.

هذا هو الخيار الموصى به إذا كنت تستخدم ClickHouse Cloud. ClickPipes مُدارة بالكامل ومصممة خصيصًا لتقديم أفضل أداء في بيئات Cloud.

​

الميزات الرئيسية

• مُحسَّن لـ ClickHouse Cloud، ويوفّر أداءً فائق السرعة
• قابلية التوسع أفقيًا وعموديًا لأحمال العمل ذات معدل النقل المرتفع
• تحمّل أعطال مدمج مع نُسخ متماثلة قابلة للتهيئة وإعادات محاولة تلقائية
• النشر والإدارة عبر واجهة مستخدم ClickHouse Cloud، أو Open API، أو Terraform
• أمان على مستوى المؤسسات مع دعم التفويض السحابي الأصلي (IAM) والاتصال الخاص (PrivateLink)
• يدعم نطاقًا واسعًا من مصادر البيانات، بما في ذلك Confluent Cloud وAmazon MSK وRedpanda Cloud وAzure Event Hubs
• يدعم أكثر تنسيقات التسلسل شيوعًا (JSON وAvro وProtobuf)

​

البدء

للبدء باستخدام ClickPipes for Kafka، راجع الوثائق المرجعية أو انتقل إلى علامة التبويب Data Sources في واجهة ClickHouse Cloud.

​

Kafka Connect Sink

Kafka Connect هو إطار عمل مفتوح المصدر يعمل كمحور بيانات مركزي لتكامل البيانات بسهولة بين Kafka وأنظمة البيانات الأخرى. يوفّر موصل ClickHouse Kafka Connect Sink خيارًا قابلًا للتوسع وعاليَ القابلية للتهيئة لقراءة البيانات من Apache Kafka وغيره من الوسطاء المتوافقين مع واجهة برمجة تطبيقات Kafka.

هذا هو الخيار الموصى به إذا كنت تفضّل قابلية تهيئة عالية أو كنت تستخدم Kafka Connect بالفعل.

​

الميزات الرئيسية

• يمكن تهيئته لدعم exactly-once semantics
• يدعم أكثر تنسيقات التسلسل شيوعًا (JSON, Avro, Protobuf)
• يُختبَر باستمرار على ClickHouse Cloud

​

البدء

للبدء باستخدام ClickHouse Kafka Connect Sink، راجع الوثائق المرجعية.

​

محرك جدول Kafka

يمكن استخدام محرك جدول Kafka لقراءة البيانات من Apache Kafka ووسطاء آخرين متوافقين مع واجهة برمجة تطبيقات Kafka، وكتابة البيانات إليها. يأتي هذا الخيار مضمّنًا مع ClickHouse مفتوح المصدر، وهو متاح عبر جميع أنواع النشر.

هذا هو الخيار الموصى به إذا كنت تستضيف ClickHouse ذاتيًا وتحتاج إلى خيار سهل البدء، أو إذا كنت بحاجة إلى كتابة البيانات إلى Kafka.

​

الميزات الرئيسية

• يمكن استخدامه لقراءة البيانات وكتابتها
• يأتي مضمّنًا مع ClickHouse مفتوح المصدر
• يدعم معظم تنسيقات التسلسل الشائعة (JSON, Avro, Protobuf)

​

البدء

للبدء في استخدام محرك جدول Kafka، راجع الوثائق المرجعية.

​

اختيار خيار

المنتج	نقاط القوة	نقاط الضعف
ClickPipes for Kafka	• معمارية قابلة للتوسع لتحقيق معدل نقل عالٍ وزمن استجابة منخفض • إمكانات مدمجة للمراقبة وإدارة المخططات • اتصالات الشبكات الخاصة (عبر PrivateLink) • يدعم المصادقة باستخدام SSL/TLS والتفويض باستخدام IAM • يدعم التهيئة برمجيًا (Terraform، ونقاط نهاية واجهة برمجة تطبيقات)	• لا يدعم دفع البيانات إلى Kafka • دلالات at-least-once
Kafka Connect Sink	• دلالات exactly-once • يتيح تحكمًا دقيقًا في تحويل البيانات، والتجميع على دفعات، ومعالجة الأخطاء • يمكن نشره في الشبكات الخاصة • يتيح النسخ المتماثل في الوقت الفعلي من قواعد البيانات غير المدعومة بعد في ClickPipes عبر Debezium	• لا يدعم دفع البيانات إلى Kafka • معقد تشغيليًا من حيث الإعداد والصيانة • يتطلب خبرة في Kafka وKafka Connect
محرك جدول Kafka	• يدعم دفع البيانات إلى Kafka • بسيط تشغيليًا من حيث الإعداد	• دلالات at-least-once • توسع أفقي محدود للمستهلكين، ولا يمكن توسيعه بشكل مستقل عن خادم ClickHouse • خيارات محدودة لمعالجة الأخطاء وتصحيحها • يتطلب خبرة في Kafka

​

خيارات أخرى

• Confluent Cloud - يوفّر Confluent Platform خيار تحميل وتشغيل ClickHouse Connector Sink على Confluent Cloud أو استخدام HTTP Sink Connector for Confluent Platform، الذي يدمج Apache Kafka مع واجهة برمجة تطبيقات عبر HTTP أو HTTPS.

• Vector - يُعد Vector خط أنابيب بيانات محايدًا للمورّدين. وبفضل قدرته على القراءة من Kafka وإرسال الأحداث إلى ClickHouse، فإنه يُمثّل خيار تكامل قويًا.

• JDBC Connect Sink - يتيح موصل Kafka Connect JDBC Sink تصدير البيانات من Kafka topics إلى أي قاعدة بيانات علائقية باستخدام JDBC driver.

• شيفرة مخصصة - قد تكون الشيفرة المخصصة التي تستخدم Kafka ومكتبات client الخاصة بـ ClickHouse مناسبة في الحالات التي تتطلب معالجة مخصصة للأحداث.