Apache Storm Gratis big data -verktyg
Gratis big data -analysverktyg för bearbetning av dataströmmar
Behandla snabbt stora mängder data i en feltolerant och horisontell skalbar metod med hjälp av Big Data Processing-verktyg och åtkomst till realtidsdataanalys.
Översikt
Apache Storm är ett open source realtidsdatabehandlingsverktyg. Det är ett enkelt, användarvänligt big data-behandlingsverktyg som fungerar med alla programmeringsspråk. Det kan införlivas i både små och stora företag. Det är mycket skalbart och kan bibehålla effektiviteten även när lasten ökar genom att lägga till resurser på ett linjärt sätt. Apache Storm bearbetar dataströmmar i realtid, medan Hadoop bearbetar data i partier. Befintliga kö- och databasteknologier kan integreras med Apache Storm. Det garanterar databehandling även om en eller flera av klusterens länkade noder misslyckas eller meddelanden går förlorade. Apache Storm har fyra komponenter inklusive tupel, ström, pip och bultar. I Apache Storm är tupeln den primära datastrukturen. Den stöder alla datatyper och har en lista över ordnade element. Stream är en oordnad sekvens av tuples. Spout är en källa till strömmar som används för att läsa data från datakällor. Huvudgränssnittet för implementering av pip är ispout. Vidare finns det många gränssnitt tillgängliga, inklusive IrichSpout, BaserichSpout och Kafkaspout. Bultar är komponenter i logisk bearbetning. Spetsar skickar information till bultar och bultar, vilket resulterar i en ny utgångsström. Det centrala gränssnittet för implementering av bultar kallas “Ibolt.” Apache Storm är dessutom välkänd REE Big Data Analytics-verktyg. Som ett resultat använder många stora företag det som Twitter, Navisite, Wego, Yahoo och många andra. Detta realtidsanalysverktyg utvecklas på Java -språket. Licensen för detta realtidsdatabehandlingsverktyg är Apache 2.0.
Systemkrav
För att installera Apache Storm måste du ha följande programvara:
- Java
- Användare med sudo -privilegier
Funktioner
Följande är de viktigaste funktionerna i Apache Storm:
- Gratis och öppen källkod
- Databehandling i realtid
- Snabb och pålitlig
- Mycket skalbar och parallelliserbar
- Feltolerans
- Enkelt API
- Använd med vilket språk som helst
- lätt att använda och distribuera
- Integrera med kö och databassystem
Installation
** Installera Apache Storm på Ubuntu 18.04 **
Installera Zookeeper Framework
Installera först Zookeeper -ramverk på servern. Skapa katalog och navigera i den.
$ mkdir ~/bigdata
$ cd ~/bigdata
Kör kommandot för att ladda ner Zookeeper Framework.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Extrahera filerna och ändra katalogen genom att köra under kommandon.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Kopiera provkonfigurationsfil med det nya namnet.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Öppna conf/zoo.cfg -filen och lägg till följande kod i den.
admin.enableServer=true
admin.serverPort=9990
Kör kommandot för att starta Zookeeper.
$ bin/zkServer.sh start
Installera Apache Storm
Utför kommandot för att ladda ner Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Extrahera TAR -filen och ändra katalogen med nedanstående kommandon.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Öppna Conf/Storm.yaml -filen och lägg till nedan i den i den.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Kör kommandot för att starta Nimbus.
$ bin/storm nimbus
Starta handledaren genom att köra under kommandot.
$ bin/storm supervisor
Starta användargränssnittet.
$ bin/storm ui
Öppna din webbläsare och ange http: // localhost: 8080 för att komma åt stormklusterinformationen och dess löpande topologi.
