Apache Storm Kostenloses Big Data -Tool
Kostenlose Tools für Big Data Analytics zur Verarbeitung von Datenströmen
Verarbeiten Sie die große Datenmenge schnell in einer fehlertoleranten und horizontalen skalierbaren Methode unter Verwendung von Big Data Processing Tool und zugreifen auf Echtzeit-Datenanalysen.
Überblick
Apache Storm ist ein Open-Source-Echtzeit-Datenverarbeitungstool. Es ist ein einfaches, benutzerfreundliches Tool zur Verarbeitung von Big Data, das mit jeder Programmiersprache funktioniert. Es kann sowohl in kleinen als auch in großen Unternehmen eingebaut werden. Es ist sehr skalierbar und kann die Effizienz auch dann aufrechterhalten, wenn die Last steigt, indem Ressourcen linear hinzugefügt werden. Apache Storm verarbeitet Datenströme in Echtzeit, während Hadoop -Daten in Stapeln verarbeitet. Bestehende Warteschlangen- und Datenbanktechnologien können in Apache Storm integriert werden. Es garantiert die Datenverarbeitung auch dann, wenn ein oder mehrere der verknüpften Knoten des Clusters fehlschlagen oder Nachrichten verloren gehen. Apache Storm verfügt über vier Komponenten, darunter Tupel, Strom, Ausgüsse und Schrauben. Bei Apache Storm ist das Tupel die primäre Datenstruktur. Es unterstützt alle Datentypen und verfügt über eine Liste der geordneten Elemente. Stream ist eine ungeordnete Abfolge von Tupeln. Spouts ist eine Quelle von Streams, mit der Daten aus Datenquellen gelesen werden. Die Hauptschnittstelle für die Implementierung von Ausgüssen ist ISPOUT. Darüber hinaus stehen zahlreiche Schnittstellen zur Verfügung, darunter Iichspout, Baserichspout und Kafkaspout. Schrauben sind Komponenten der logischen Verarbeitung. Ausgänge senden Informationen an den Vorgang mit Schrauben und Schrauben, was zu einem neuen Ausgabestream führt. Die zentrale Schnittstelle zum Implementieren von Schrauben heißt “Ibolt”. Darüber hinaus ist Apache Storm ein bekanntes Tool von Ree Big Data Analytics. Infolgedessen verwenden viele große Unternehmen es wie Twitter, Navisite, Wo, Yahoo und viele andere. Dieses Echtzeit -Analyse -Tool wird in der Java -Sprache entwickelt. Die Lizenz für dieses Echtzeitdatenverarbeitungstool ist Apache 2.0.
System Anforderungen
Um Apache Storm zu installieren, müssen Sie die folgenden Software haben:
- Java
- Benutzer mit sudo -Privilegien
Merkmale
Im Folgenden finden Sie die wichtigsten Merkmale von Apache Storm:
- Frei und Open Source
- Echtzeit-Datenverarbeitung
- schnell und zuverlässig
- hoch skalierbar und parallelisierbar
- Fehlertoleranz
- Einfache API
- Verwenden Sie bei jeder Sprache
- einfach zu bedienen und bereitzustellen
- Integrieren Sie sich in Warteschlangen- und Datenbanksysteme
Installation
APache Storm auf Ubuntu 18.04 Installieren
Installieren Sie Zookeeper Framework
Installieren Sie zunächst das Zookeeper -Framework auf dem Server. Erstellen Sie ein Verzeichnis und navigieren Sie darauf.
$ mkdir ~/bigdata
$ cd ~/bigdata
Führen Sie den Befehl aus, um das Zookeeper -Framework herunterzuladen.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Extrahieren Sie die Dateien und ändern Sie das Verzeichnis, indem Sie die folgenden Befehle ausführen.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Kopieren Sie die Beispielkonfigurationsdatei mit dem neuen Namen.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Öffnen Sie die conf/zoo.cfg -Datei und fügen Sie den folgenden Code hinzu.
admin.enableServer=true
admin.serverPort=9990
Führen Sie den Befehl aus, um Zookeeper zu starten.
$ bin/zkServer.sh start
APache Storm installieren
Führen Sie den Befehl aus, um Apache Storm herunterzuladen.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Extrahieren Sie die TAR -Datei und ändern Sie das Verzeichnis mit den folgenden Befehlen.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Öffnen Sie die Datei conf/storm.yaml und fügen Sie unten die Zeilen hinzu.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Führen Sie den Befehl aus, um den Nimbus zu starten.
$ bin/storm nimbus
Starten Sie den Supervisor, indem Sie den Befehl unter unten ausführen.
$ bin/storm supervisor
Starten Sie die Benutzeroberfläche.
$ bin/storm ui
Öffnen Sie Ihren Browser und geben Sie http: // localhost: 8080 ein, um auf die Sturmclusterinformationen und die laufende Topologie zuzugreifen.
