Kafka Nemokama pranešimų eilės programinė įranga
„Scala & Java“ pagrindu sukurta paskirstytų įvykių srautinio perdavimo platforma
„Apache Kafka“ yra atvirojo kodo platinama įvykių srautinė platforma. Tai tvirtas eilės brokeris ir sukurtas kaip vidinė pranešimų sistema, kurią sukūrė „Sinked-In“
Apžvalga
„Kafka“ yra atvirojo kodo pranešimų sistema ir patikimas eilės brokeris. Tai paskirstyta įvykių srautinio perdavimo platforma ir turi galimybę tvarkyti didelį pranešimų kiekį. „Kafka“ pranešimai saugomi diske ir jie leidžia sklandžiai siųsti pranešimus iš vieno taško į kitą. Pranešimai atkartojami visame „Kafka“ klasteryje, kad nepageidaujamos operacijos nebūtų įvykdytos kaip bet kokio duomenų praradimo. „Kafka“ žinučių siuntimo platforma, sukurta realaus laiko įvykių srautiniam perdavimui, vamzdžių liejimui ir duomenų pakartojimui greitam, keičiamam operacijoms tvarkyti. „Apache Kafka“ paskirstytą pranešimų eilės programinę įrangą naudoja tūkstančiai kompanijų, skirtų aukšto našumo duomenų vamzdynams ir jos integracijai su „Apache Storm“ ir „Spark“. „Kafka“ siūlo aukštą našumą, palyginti su pranešimų ir eilės brokeriais, tokiais kaip „ActiMEMQ“ ir „RabbitMQ“ ir kt. „Apache Kafka“ yra alternatyva įvairioms įmonių pranešimų siuntimo sistemoms. Ji buvo sukurta kaip vidinė pranešimų sistema, kurią sukūrė „Linked-In“, kad per dieną būtų tvarkoma 1,4 trilijono pranešimų. Tai geriausia ir tinkama platforma eilėms diegti, nes ji padidina našumą naudojant nuoseklias disko I/O operacijas. Tai taip pat yra puikus pasirinkimas didžiųjų duomenų naudojimo atvejams, nes jis gali pasiekti didelį pralaidumą su ribotu išteklių skaičiumi, t. Y. Milijonais pranešimų per sekundę. „Kafka“ atvirojo kodo programinė įranga turi 19,4K „GitHub“ žvaigždes ir 10,3K „GitHub Forks“.
Sistemos reikalavimai
Reikalavimai nustatyti „Apache Kafka“ programinę įrangą apima:
- „Java 8+“
- Zoologijos sodo prižiūrėtojas
- Ubuntu 20,04 LTS
- Git
Funkcijos
Kai kurios pagrindinės „Apache Kafka“ funkcijos yra išvardytos žemiau:
- Mastelio keitimas
- Didelis garsas
- Duomenų transformacijos
- Tolerancija dėl gedimų
- Patikimumas
- Patvarumas
- Spektaklis
- Nulis prastovos
- Išplėtimas
- Replikacija
- Atviro kodo
Diegimo instrukcijos
Įdiekite „Apache Kafka“ ant ubuntu
Šis vadovas paaiškina, kaip nustatyti ir „kafka“. Žemiau pateiktuose diegimo veiksmuose daroma prielaida, kad visi „Kafka“ nepakankamumo paketai yra įdiegti ir atnaujinti jūsų sistemoje. Atlikite žemiau pateiktus diegimo veiksmus. Gaukite „Kafka“ atsisiųsdami naujausią laidą „Kafka“ ir ištraukite ją su komandomis:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Toliau pradėkite „Kafka“ aplinką. Jūs, vietinės sistemos aplinka, turite įdiegti „Java 8+“. Vykdykite šias komandas, kad galėtumėte pradėti visas paslaugas teisinga tvarka:
bin/zookeeper-server-start.sh config/zookeeper.properties
Atidarykite dar vieną terminalo sesiją ir „Kafka Broker“ paslaugą pateikė:
bin/kafka-server-start.sh config/server.properties
Kai visos paslaugos sėkmingai įdiegs, turėsite pagrindinę „Kafka“ aplinką, veikiančią ir pasiruošę pasiekti. Prieš rašydami pirmąjį renginį, turite sukurti temą. Atidarykite kitą terminalo sesiją ir vykdykite komandą:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Dabar paleiskite „Console“ gamintojo klientą, kad į temą įtrauktumėte kelis atskirus įvykius:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
Atidarykite kitą konsolės terminalo sesiją ir paleiskite konsolės vartotojų klientą, kad perskaitytumėte ką tik sukurtus įvykius:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Galite nuolat importuoti/eksportuoti savo duomenis į „Kafka“ ir iš jų. Norėdami sustabdyti „Kafka“ brokerį, naudokite „Ctrl-C“. Jei taip pat norite ištrinti bet kokius duomenis iš savo vietinės „Kafka“ aplinkos, įskaitant visus įvykius, kuriuos sukūrėte pakeliui, tada paleiskite komandą:
rm -rf /tmp/kafka-logs /tmp/zookeeper
Sveikiname! Jūs sėkmingai sukonfigūravote „Apache Kafka“ platformą „Ubuntu“. Mėgautis!
FAQs
What is Apache Kafka used for?
Kafka is an open source software which provides a framework for storing, reading and analysing streaming data. Being open source means that it is essentially free to use and has a large network of users and developers who contribute towards updates, new features and offering support for new users.
Is Apache Kafka free?
Apache Kafka is free, and Confluent Cloud is very cheap for small use cases, about $1 a month to produce, store, and consume a GB of data.
Is Apache Kafka open source?
Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. The source code of Ceph application is available at Github.
What language is Kafka written in?
Kafka started as a project in LinkedIn and was later open-sourced to facilitate its adoption. It is written in Scala and Java, and it is part of the open-source Apache Software Foundation.
Why Kafka is so fast?
Compression & Batching of Data: Kafka batches the data into chunks which helps in reducing the network calls and converting most of the random writes to sequential ones. It’s more efficient to compress a batch of data as compared to compressing individual messages.
tyrinėti
Šiame straipsnyje mes aptarėme apie „Apache Kafka“. Norėdami sužinoti apie kitą pranešimų eilės (MQ) programinę įrangą, apsilankykite šiais puslapiais:
5 populiariausių atvirojo kodo pranešimų eilės MQ programinė įranga
