Apache Storm Outil gratuit de Big Data
Outils d'analyse gratuite de Big Data pour le traitement des flux de données
Traitez rapidement une grande quantité de données dans une méthode évolutive tolérante à défaut et horizontale à l'aide de l'outil de traitement des mégadonnées et accédez à l'analyse de données en temps réel.
Aperçu
Apache Storm est un outil de traitement des données open source en temps réel. Il s’agit d’un outil de traitement des mégadonnées simple et convivial qui fonctionne avec n’importe quel langage de programmation. Il peut être incorporé dans les petites et les grandes entreprises. Il est très évolutif et peut maintenir l’efficacité même lorsque la charge augmente, en ajoutant des ressources de manière linéaire. Apache Storm traite les flux de données en temps réel, tandis que Hadoop traite les données par lots. Les technologies de file d’attente et de base de données existantes peuvent être intégrées à Apache Storm. Il garantit le traitement des données même si un ou plusieurs des nœuds liés du cluster échouent ou que les messages sont perdus. Apache Storm a quatre composants, notamment des tuple, du ruisseau, des becs et des boulons. Dans Apache Storm, le tuple est la structure de données principale. Il prend en charge tous les types de données et dispose d’une liste d’éléments commandés. Le flux est une séquence de tuples non ordonnée. Spouts est une source de flux utilisé pour lire les données des sources de données. L’interface principale pour implémenter les becs est ISPOUT. De plus, il existe de nombreuses interfaces disponibles, notamment IrichSpout, BaserichSpout et Kafkaspout. Les boulons sont des composants du traitement logique. Les becs envoient des informations au processus des boulons et des boulons, ce qui se traduit par un nouveau flux de sortie. L’interface centrale pour l’implémentation des boulons est appelée «ibolt». De plus, Apache Storm est un outil d’analyse Big Data bien connu. En conséquence, de nombreuses grandes sociétés l’utilisent comme Twitter, Navisite, Wego, Yahoo et bien d’autres. Cet outil d’analyse en temps réel est développé en langue java. La licence de cet outil de traitement des données en temps réel est Apache 2.0.
Configuration requise
Afin d’installer Apache Storm, vous devez avoir les logiciels suivants:
- Java
- Utilisateur avec privilèges sudo
Caractéristiques
Voici les principales caractéristiques d’Apache Storm:
- gratuit et open source
- Traitement des données en temps réel
- Rapide et fiable
- Très évolutif et parallélisable
- Tolérance aux défauts
- API simple
- Utiliser avec n’importe quelle langue
- Facile à utiliser et à déployer
- Intégrer aux systèmes de mise en file d’attente et de base de données
Installation
Installez Apache Storm sur Ubuntu 18.04
Installer ZooKeeper Framework
Tout d’abord, installez ZooKeeper Framework sur le serveur. Créez un répertoire et naviguez-y.
$ mkdir ~/bigdata
$ cd ~/bigdata
Exécutez la commande pour télécharger ZooKeeper Framework.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Extraire les fichiers et modifier le répertoire en exécutant les commandes ci-dessous.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Copiez un exemple de fichier de configuration avec le nouveau nom.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Ouvrez le fichier conf / zoo.cfg et ajoutez-y le code suivant.
admin.enableServer=true
admin.serverPort=9990
Exécutez la commande pour démarrer ZooKeeper.
$ bin/zkServer.sh start
Installer Apache Storm
Exécutez la commande pour télécharger Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Extraire le fichier TAR et le répertoire de modification à l’aide des commandes ci-dessous.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Ouvrez le fichier conf / Storm.yaml et ajoutez-y sous les lignes.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Exécutez la commande pour démarrer le Nimbus.
$ bin/storm nimbus
Démarrez le superviseur en exécutant la commande ci-dessous.
$ bin/storm supervisor
Commencez l’interface utilisateur.
$ bin/storm ui
Ouvrez votre navigateur et entrez http: // localhost: 8080 pour accéder aux informations du cluster Storm et à sa topologie en cours d’exécution.
