Apache Storm Strumento Big Data gratuito
Strumenti di analisi dei big data gratuiti per l'elaborazione dei flussi di dati
Elaborare rapidamente una grande quantità di dati in un metodo scalabile tollerante e orizzontale utilizzando lo strumento di elaborazione dei big data e accedi all'analisi dei dati in tempo reale.
Panoramica ### ** ** Apache Storm è uno strumento di elaborazione dei dati in tempo reale open source. È uno strumento di elaborazione dei big data semplice e user-friendly che funziona con qualsiasi linguaggio di programmazione. Può essere incorporato sia in piccole che in grandi imprese. È altamente scalabile e può mantenere l’efficienza anche quando il carico aumenta, aggiungendo risorse in modo lineare. Apache Storm elabora i flussi di dati in tempo reale, mentre Hadoop elabora i dati in batch. Le tecnologie di accodamento e database esistenti possono essere integrate con Apache Storm. Garantisce l’elaborazione dei dati anche se si perdono uno o più nodi collegati del cluster o i messaggi. Apache Storm ha quattro componenti tra cui tupla, streaming, beccui e bulloni. In Apache Storm, la tupla è la struttura dati primaria. Supporta tutti i tipi di dati e ha un elenco di elementi ordinati. Il flusso è una sequenza non ordinata di tuple. Spout è una fonte di flussi utilizzati per leggere i dati dalle origini dati. L’interfaccia principale per l’implementazione di beccuccio è iSpout. Inoltre, ci sono numerose interfacce disponibili, tra cui Irichspout, Baserichspout e Kafkaspout. I bulloni sono componenti dell’elaborazione logica. I beccuccio inviano informazioni al processo di bulloni e bulloni, che si traduce in un nuovo flusso di output. L’interfaccia centrale per l’implementazione di bulloni si chiama “IBOLT”. Inoltre, Apache Storm è il noto strumento REE Big Data Analytics. Di conseguenza, molte grandi aziende lo usano come Twitter, Navisite, Wego, Yahoo e molti altri. Questo strumento di analisi in tempo reale è sviluppato in lingua Java. La licenza per questo strumento di elaborazione dei dati in tempo reale è Apache 2.0.
Requisiti di sistema
Per installare Apache Storm, è necessario disporre dei seguenti software:
- Java
- Utente con privilegi sudo
Caratteristiche
Di seguito sono riportate le caratteristiche chiave di Apache Storm:
- gratuito e open source
- Elaborazione dei dati in tempo reale
- Veloce e affidabile
- Altamente scalabile e parallelizzabile
- tolleranza agli errori
- API semplice
- Usa con qualsiasi lingua
- facile da usare e distribuire
- integrare con i sistemi di coda e database
Installazione
Installa Apache Storm su Ubuntu 18.04
Installa Zookeeper framework
Innanzitutto, installa Framework Zookeeper sul server. Crea la directory e naviga in essa.
$ mkdir ~/bigdata
$ cd ~/bigdata
Esegui il comando per scaricare Zookeeper framework.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Estrai i file e modifica la directory eseguendo i comandi sotto.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Copia il file di configurazione di esempio con il nuovo nome.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Apri il file conf/zoo.cfg e aggiungi il seguente codice.
admin.enableServer=true
admin.serverPort=9990
Esegui il comando per avviare Zookeeper.
$ bin/zkServer.sh start
Installa Apache Storm
Esegui il comando per scaricare Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Estrarre il file TAR e modificare la directory utilizzando i comandi di seguito.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Apri il file conf/storm.yaml e aggiungi le righe sotto.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Esegui il comando per avviare il nimbus.
$ bin/storm nimbus
Avvia il supervisore eseguendo il comando sotto.
$ bin/storm supervisor
Inizia l’interfaccia utente.
$ bin/storm ui
Apri il browser e inserisci http: // localhost: 8080 per accedere alle informazioni sul cluster di tempeste e alla sua topologia in esecuzione.
