Kafka Logiciel gratuit de file d'attente de messages
Plateforme de streaming d'événements distribués basés sur Scala & Java
Apache Kafka est une plate-forme de streaming d'événements distribuée open source. Il s'agit d'un courtier de file d'attente robuste et construit comme un système de messagerie interne développé par liend-in
Aperçu
Kafka est un système de messagerie open source et un courtier de file d’attente robuste. Il s’agit d’une plate-forme de streaming d’événements distribuée et a la possibilité de gérer un volume élevé de messages. Les messages Kafka sont stockés sur le disque et vous permet d’envoyer des messages d’un point à un autre de manière transparente. Les messages sont reproduits dans l’ensemble du cluster Kafka pour empêcher les opérations indésirables de se produire comme toute perte de données. Plate-forme de messagerie Kafka construite pour gérer le streaming d’événements en temps réel, la ligne de tuyaux et la relecture des données pour les opérations rapides et évolutives. Le logiciel de file d’attente de messages distribué Apache Kafka est utilisé par des milliers d’entreprises pour des pipelines de données haute performance et son intégration avec Apache Storm and Spark. Kafka offre des performances élevées par rapport aux courtiers de message et de file d’attente comme ActiveMQ et RabbitMQ etc. Apache Kafka est une alternative à une variété de systèmes de messagerie d’entreprise. Il a été construit comme un système de messagerie interne développé par lien pour gérer 1,4 billion de messages en une journée. Il s’agit d’une plate-forme meilleure et appropriée pour la mise en œuvre des files d’attente car elle augmente les performances en utilisant des opérations d’E / S de disque séquentiel. C’est également un choix parfait pour les cas d’utilisation du Big Data, car il peut atteindre un débit élevé avec un nombre limité de ressources, c’est-à-dire des millions de messages par seconde. Kafka Open Source Software dispose de 19,4k GitHub Stars et 10.3k GitHub Forks.
Configuration requise
Les exigences pour configurer le logiciel Apache Kafka comprennent:
- Java 8+
- Zookeeper
- Ubuntu 20.04 LTS
- Git
Caractéristiques
Certaines des principales caractéristiques d’Apache Kafka sont répertoriées ci-dessous:
- Évolutivité
- Volume élevé
- Transformations de données
- Tolérance aux pannes
- Fiabilité
- Durabilité
- Performance
- Temps d’arrêt zéro
- Extensibilité
- Réplication
- Open source
Instructions d’installation
Installez Apache Kafka sur Ubuntu
Ce guide explique comment configurer et kafka. Les étapes d’installation ci-dessous supposent que tous les packages de dépréciation de Kafka sont installés et à jour sur votre système. Veuillez suivre les étapes d’installation ci-dessous. Obtenez Kafka en téléchargeant la dernière version Kafka et extraire avec les commandes:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Ensuite, commencez l’environnement Kafka. Votre environnement système local doit faire installer Java 8+. Exécutez les commandes suivantes afin de démarrer tous les services dans le bon ordre:
bin/zookeeper-server-start.sh config/zookeeper.properties
Ouvrez une autre session de terminal et dtart le service de courtier Kafka par:
bin/kafka-server-start.sh config/server.properties
Lorsque tous les services seront installés avec succès, vous aurez un environnement Kafka de base en cours d’exécution et prêt à accéder. Vous devez créer un sujet avant d’écrire votre premier événement. Ouvrez une autre commande de session de terminal et exécutez:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Maintenant, exécutez le client du producteur de console pour écrire quelques événements distincts dans le sujet:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
Ouvrez une autre session de terminal de console et exécutez le client du consommateur de console pour lire les événements avec lesquels vous venez de créer:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Vous pouvez importer / exporter en permanence vos données dans et hors de Kafka. Utilisez Ctrl-C pour arrêter le courtier Kafka. Si vous souhaitez également supprimer des données de votre environnement Kafka local, y compris les événements que vous avez créés en cours de route, exécutez la commande:
rm -rf /tmp/kafka-logs /tmp/zookeeper
Toutes nos félicitations! Vous avez configuré avec succès la plate-forme Apache Kafka sur Ubuntu. Apprécier!
FAQS
À quoi sert Apache Kafka?
Kafka est un logiciel open source qui fournit un cadre pour stocker, lire et analyser les données de streaming. Être open source signifie qu’il est essentiellement gratuit à utiliser et dispose d’un grand réseau d’utilisateurs et de développeurs qui contribuent aux mises à jour, aux nouvelles fonctionnalités et offrant une prise en charge des nouveaux utilisateurs.
Apache Kafka est-il gratuit?
Apache Kafka est gratuit et le cloud confluent est très bon marché pour les petits cas d’utilisation, environ 1 $ par mois pour produire, stocker et consommer un Go de données.
est l’Open source d’Apache Kafka?
Apache Kafka est une plate-forme de streaming d’événements distribuée open source utilisée par des milliers d’entreprises pour des pipelines de données à haute performance, des analyses de streaming, l’intégration des données et des applications critiques. Le code source de l’application CEPH est disponible à Github.
Dans quelle langue Kafka est-elle écrite?
Kafka a commencé comme un projet dans LinkedIn et a ensuite été open source pour faciliter son adoption. Il est écrit dans Scala et Java, et il fait partie de la Fondation logicielle APCAChes open source.
Pourquoi Kafka est si rapide?
Compression et lots de données: Kafka lance les données en morceaux, ce qui aide à réduire les appels réseau et à convertir la plupart des écritures aléatoires en séquentiels. Il est plus efficace de comprimer un lot de données par rapport à la compression de messages individuels.
