Apache Storm Gratis big data tool
Gratis big data analysetools voor het verwerken van gegevensstromen
Verwerk snel een grote hoeveelheid gegevens in een fouttolerante en horizontale schaalbare methode met behulp van big data-verwerkingstool en toegang tot realtime gegevensanalyses.
Overzicht
Apache Storm is een open source realtime tool voor gegevensverwerking. Het is een eenvoudige, gebruiksvriendelijke tool voor big data-verwerking die werkt met elke programmeertaal. Het kan worden opgenomen in zowel kleine als grote bedrijven. Het is zeer schaalbaar en kan de efficiëntie behouden, zelfs wanneer de belasting toeneemt, door bronnen op een lineaire manier toe te voegen. Apache Storm verwerkt gegevensstromen in realtime, terwijl Hadoop -gegevens in batches verwerkt. Bestaande wachtrij- en databasetechnologieën kunnen worden geïntegreerd met Apache Storm. Het garandeert gegevensverwerking, zelfs als een of meer van de gekoppelde knooppunten van het cluster falen of berichten verloren gaan. Apache Storm heeft vier componenten, waaronder Tuple, Stream, Spouts en Bolts. In Apache Storm is de tuple de primaire gegevensstructuur. Het ondersteunt alle gegevenstypen en heeft een lijst met geordende elementen. Stream is een ongeordende reeks tupels. Spouts is een bron van streams die wordt gebruikt om gegevens uit gegevensbronnen te lezen. De hoofdinterface voor het implementeren van tuiten is ISPout. Verder zijn er talloze interfaces beschikbaar, waaronder Irichspout, Baserichspout en Kafkaspout. Bouten zijn componenten van logische verwerking. Spouts sturen informatie naar het bouten- en boutenproces, wat resulteert in een nieuwe uitvoerstroom. De centrale interface voor het implementeren van bouten wordt “Ibolt” genoemd. Bovendien is Apache Storm de bekende hulpmiddelen voor Big Data Analytics. Als gevolg hiervan gebruiken veel grote bedrijven het zoals Twitter, Navisite, Wego, Yahoo en vele anderen. Deze realtime analysetool is ontwikkeld in Java -taal. De licentie voor deze realtime gegevensverwerkingstool is Apache 2.0.
Systeem vereisten
Om Apache Storm te installeren, moet u de volgende software hebben:
- Java
- Gebruiker met sudo -privileges
Functies
Hierna volgen de belangrijkste kenmerken van Apache Storm:
- Gratis en open source
- Real-time gegevensverwerking
- Snel en betrouwbaar
- Zeer schaalbaar en parallelliseerbaar
- Fouttolerantie
- Eenvoudige API
- Gebruik met elke taal
- gemakkelijk te gebruiken en te implementeren
- integreren met wachtrij- en databasesystemen
Installatie
Apache Storm installeren op Ubuntu 18.04
Installeer Zookeeper Framework
Installeer eerst Zookeeper Framework op de server. Maak een map en navigeer erin.
$ mkdir ~/bigdata
$ cd ~/bigdata
Commando uitvoeren om Zookeeper Framework te downloaden.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Pak de bestanden uit en wijzig de directory door onderstaande opdrachten uit te voeren.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Kopieer het voorbeeldconfiguratiebestand met de nieuwe naam.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Open Conf/Zoo.cfg -bestand en voeg de volgende code toe.
admin.enableServer=true
admin.serverPort=9990
Voer commando uit om Zookeeper te starten.
$ bin/zkServer.sh start
Apache Storm installeren
Voer de opdracht uit om Apache Storm te downloaden.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Pak het TAR -bestand uit en wijzig de directory met onderstaande opdrachten.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Open Conf/Storm.yaml -bestand en voeg hieronder regels toe.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Voer de opdracht uit om de nimbus te starten.
$ bin/storm nimbus
Start de supervisor door onderstaande opdracht uit te voeren.
$ bin/storm supervisor
Start de gebruikersinterface.
$ bin/storm ui
Open uw browser en voer http: // localhost: 8080 in voor toegang tot de stormclusterinformatie en de lopende topologie.
