Apache Storm Bezplatný nástroj Big Data
Zdarma nástroje pro analýzu velkých dat pro zpracování datových toků
Rychle zpracovávejte velké množství dat v metodě tolerantní a horizontální škálovatelné poruchy pomocí nástroje pro zpracování velkých dat a přístupu k analýze dat v reálném čase.
Přehled
Apache Storm je nástroj pro zpracování dat v reálném čase v reálném čase. Je to jednoduchý, uživatelsky přívětivý nástroj pro zpracování velkých dat, který pracuje s jakýmkoli programovacím jazykem. Může být začleněn do malých i velkých podniků. Je vysoce škálovatelný a může udržovat účinnost, i když se zatížení zvyšuje, přidáním zdrojů lineárním způsobem. Apache Storm zpracovává datové toky v reálném čase, zatímco Hadoop zpracovává data v dávkách. Existující technologie front a databáze lze integrovat do Apache Storm. Zaručuje zpracování dat, i když jeden nebo více z propojených uzlů klastru selže nebo se ztratí zprávy. Apache Storm má čtyři komponenty včetně n -tice, potoka, výtoků a šroubů. V Apache Storm je primární datová struktura. Podporuje všechny typy dat a má seznam uspořádaných prvků. Stream je neuspořádaná sekvence n -tic. Výkřiky jsou zdrojem proudů, které se používají ke čtení dat ze zdrojů dat. Hlavním rozhraním pro implementaci výtoků je ISPOUT. Dále je k dispozici řada rozhraní, včetně Irichspout, Barerichspout a KafKaspout. Šrouby jsou součástí logického zpracování. Výtoky posílají informace do procesu šroubů a šroubů, což má za následek nový výstupní proud. Centrální rozhraní pro implementaci šroubů se nazývá „ibolt“. Kromě toho je Apache Storm dobře známý nástroj Ree Big Data Analytics. Výsledkem je, že mnoho velkých korporací to používá jako Twitter, Navisite, Wego, Yahoo a mnoho dalších. Tento analytický nástroj v reálném čase je vyvíjen v jazyce Java. Licence pro tento nástroj pro zpracování dat v reálném čase je Apache 2.0.
Požadavky na systém
Chcete -li nainstalovat Storm Apache Storm, musíte mít následující software:
- Java
- Uživatel s oprávněními sudo
Funkce
Následující jsou klíčové rysy Apache Storm:
- Zdarma a open source
- Zpracování dat v reálném čase
- Rychlé a spolehlivé
- Vysoce škálovatelné a paralelizovatelné
- Odolnost proti chybám
- Jednoduché API
- Používejte s jakýmkoli jazykem
- Snadné použití a nasazení
- Integrujte se do front a databázových systémů
Instalace
Nainstalujte Apache Storm na Ubuntu 18.04
Nainstalujte Zookeeper Framework
Nejprve nainstalujte na server rámec Zookeeper. Vytvořte adresář a najděte do něj.
$ mkdir ~/bigdata
$ cd ~/bigdata
Spusťte příkaz ke stažení framework Zookeeper.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Extrahujte soubory a změňte adresář spuštěním pod příkazy.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Zkopírujte ukázkový konfigurační soubor s novým názvem.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Otevřete soubor Conf/Zoo.cfg a přidejte do něj následující kód.
admin.enableServer=true
admin.serverPort=9990
Spusťte příkaz a spusťte zookeeper.
$ bin/zkServer.sh start
Nainstalujte Storm Apache
Spusťte příkaz ke stažení Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Extrahujte soubor TAR a změňte adresář pomocí příkazů níže.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Otevřete soubor Conf/Storm.YAML a přidejte do něj níže.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Spusťte příkaz a spusťte Nimbus.
$ bin/storm nimbus
Spusťte supervizora spuštěním pod příkazem.
$ bin/storm supervisor
Spusťte uživatelské rozhraní.
$ bin/storm ui
Otevřete prohlížeč a zadejte http: // localhost: 8080 a získejte přístup k informacím o Storm Cluster a jeho běžící topologii.
