Apache Storm Δωρεάν εργαλείο μεγάλων δεδομένων
Δωρεάν εργαλεία ανάλυσης μεγάλων δεδομένων για την επεξεργασία ροών δεδομένων
Επεξεργαστείτε γρήγορα μεγάλη ποσότητα δεδομένων σε μια ανθεκτική σε σφάλματα και οριζόντια κλιμακωτή μέθοδο χρησιμοποιώντας μεγάλο εργαλείο επεξεργασίας δεδομένων και πρόσβαση στην ανάλυση δεδομένων σε πραγματικό χρόνο.
ΣΦΑΙΡΙΚΗ ΕΙΚΟΝΑ
Το Apache Storm είναι ένα εργαλείο επεξεργασίας δεδομένων σε πραγματικό χρόνο ανοιχτού κώδικα. Είναι ένα απλό, φιλικό προς το χρήστη μεγάλο εργαλείο επεξεργασίας δεδομένων που λειτουργεί με οποιαδήποτε γλώσσα προγραμματισμού. Μπορεί να ενσωματωθεί τόσο σε μικρές όσο και σε μεγάλες επιχειρήσεις. Είναι εξαιρετικά κλιμακωτό και μπορεί να διατηρήσει την αποτελεσματικότητα ακόμη και όταν το φορτίο αυξάνεται, προσθέτοντας πόρους με γραμμικό τρόπο. Το Apache Storm επεξεργάζεται ροές δεδομένων σε πραγματικό χρόνο, ενώ ο Hadoop επεξεργάζεται δεδομένα σε παρτίδες. Οι υπάρχουσες τεχνολογίες ουράς και βάσεων δεδομένων μπορούν να ενσωματωθούν στην καταιγίδα Apache. Εξασφαλίζει την επεξεργασία δεδομένων, ακόμη και αν αποτύχουν ένας ή περισσότεροι από τους συνδεδεμένους κόμβους του συμπλέγματος ή τα μηνύματα χάνονται. Το Apache Storm έχει τέσσερα συστατικά, όπως η πλειάδα, το ρεύμα, τα σβήνει και τα μπουλόνια. Στην καταιγίδα Apache, η πλειάδα είναι η κύρια δομή δεδομένων. Υποστηρίζει όλους τους τύπους δεδομένων και έχει μια λίστα με παραγγελθέντα στοιχεία. Η ροή είναι μια μη διαταγμένη ακολουθία πλειάδων. Το Spouts είναι μια πηγή ροών που χρησιμοποιείται για την ανάγνωση δεδομένων από πηγές δεδομένων. Η κύρια διεπαφή για την εφαρμογή των εξοπλισμού είναι το ISPOUT. Επιπλέον, υπάρχουν πολλές διεπαφές, συμπεριλαμβανομένων των Irichspout, Baserichspout και Kafkaspout. Τα μπουλόνια είναι συστατικά της λογικής επεξεργασίας. Τα κτύπημα στέλνουν πληροφορίες στη διαδικασία Bolts and Bolts, η οποία έχει ως αποτέλεσμα μια νέα ροή εξόδου. Η κεντρική διεπαφή για την εφαρμογή των μπουλονιών ονομάζεται “Ibolt”. Επιπλέον, το Apache Storm είναι γνωστό εργαλείο ανάλυσης μεγάλων δεδομένων REE. Ως αποτέλεσμα, πολλές μεγάλες εταιρείες το χρησιμοποιούν όπως το Twitter, το Navisite, το Wego, το Yahoo και πολλά άλλα. Αυτό το εργαλείο ανάλυσης σε πραγματικό χρόνο αναπτύσσεται στη γλώσσα Java. Η άδεια για αυτό το εργαλείο επεξεργασίας δεδομένων σε πραγματικό χρόνο είναι το Apache 2.0.
Απαιτήσεις συστήματος
Για να εγκαταστήσετε το Apache Storm, πρέπει να έχετε τα ακόλουθα λογισμικά:
- Java
- Χρήστης με προνόμια sudo
Χαρακτηριστικά
Ακολουθούν τα βασικά χαρακτηριστικά της καταιγίδας Apache:
- Δωρεάν και ανοιχτή πηγή
- Επεξεργασία δεδομένων σε πραγματικό χρόνο
- Γρήγορα και αξιόπιστα
- εξαιρετικά κλιμακωτό και παραλληλισμό
- Ανοχή σε σφάλματα
- απλό API
- Χρησιμοποιήστε με οποιαδήποτε γλώσσα
- Εύκολο στη χρήση και ανάπτυξη
- Ενσωμάτωση με συστήματα ουράς και βάσεων δεδομένων
Εγκατάσταση
Εγκαταστήστε την καταιγίδα Apache στο Ubuntu 18.04
Εγκαταστήστε το πλαίσιο Zookeeper
Πρώτον, εγκαταστήστε το πλαίσιο ZOOKEEPER στο διακομιστή. Δημιουργήστε κατάλογο και περιηγηθείτε σε αυτό.
$ mkdir ~/bigdata
$ cd ~/bigdata
Εκτέλεση εντολής για λήψη του πλαισίου Zookeeper.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Εξαγάγετε τα αρχεία και αλλάξτε τον κατάλογο εκτελώντας τις παρακάτω εντολές.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Αντιγραφή αρχείου διαμόρφωσης δείγματος με το νέο όνομα.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Ανοίξτε το αρχείο Conf/Zoo.cfg και προσθέστε τον ακόλουθο κωδικό σε αυτό.
admin.enableServer=true
admin.serverPort=9990
Εκτέλεση εντολής για να ξεκινήσετε το zookeeper.
$ bin/zkServer.sh start
Εγκαταστήστε την καταιγίδα Apache
Εκτέλεση εντολής για να κατεβάσετε το Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Εξαγάγετε το αρχείο TAR και αλλάξτε τον κατάλογο χρησιμοποιώντας τις παρακάτω εντολές.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Ανοίξτε το αρχείο conf/storm.yaml και προσθέστε παρακάτω γραμμές σε αυτό.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Εκτέλεση εντολής για να ξεκινήσετε το NIMBUS.
$ bin/storm nimbus
Ξεκινήστε τον επόπτη εκτελώντας κάτω από την εντολή.
$ bin/storm supervisor
Ξεκινήστε το UI.
$ bin/storm ui
Ανοίξτε το πρόγραμμα περιήγησής σας και εισαγάγετε το http: // localhost: 8080 για να αποκτήσετε πρόσβαση στις πληροφορίες συστάδων θύελλας και την τοπολογία της.
