実際のデータ処理ツール

Apache Storm 無料のビッグデータツール

データストリームを処理するための無料のビッグデータ分析ツール

ビッグデータ処理ツールとリアルタイムデータ分析にアクセスして、大量のデータを断層耐性および水平スケーラブルな方法で迅速に処理します。

実際のデータ処理ツール

Apache Storm

GitHub

概要

Apache Stormは、オープンソースのリアルタイムデータ処理ツールです。これは、あらゆるプログラミング言語で動作するシンプルでユーザーフレンドリーなビッグデータ処理ツールです。大規模および大規模な企業の両方に組み込むことができます。これは非常にスケーラブルであり、線形方法でリソースを追加することで、負荷が増加した場合でも効率を維持できます。 Apache Stormはデータストリームをリアルタイムで処理し、Hadoopはバッチでデータを処理します。既存のキューイングおよびデータベーステクノロジーは、Apache Stormと統合できます。クラスターのリンクされたノードの1つ以上が失敗したり、メッセージが失われたりしても、データ処理が保証されます。 Apache Stormには、タプル、ストリーム、スパウト、ボルトなどの4つのコンポーネントがあります。 Apache Stormでは、タプルが主要なデータ構造です。すべてのデータ型をサポートし、順序付けられた要素のリストを持っています。ストリームは、タプルの順序付けられていないシーケンスです。スパウトは、データソースからデータを読み取るために使用されるストリームのソースです。スパウトを実装するためのメインインターフェイスはISPOUTです。さらに、Irichspout、Baserichspout、Kafkaspoutなど、多くのインターフェイスが利用可能です。ボルトは、論理処理のコンポーネントです。スパウトはボルトとボルトのプロセスに情報を送信し、新しい出力ストリームになります。ボルトを実装するための中央インターフェイスは、「Ibolt」と呼ばれます。さらに、Apache Stormは、よく知られているREEビッグデータ分析ツールです。その結果、Twitter、Navisite、Wego、Yahooなど、多くの大企業がそれを使用しています。このリアルタイム分析ツールは、Java言語で開発されています。このリアルタイムデータ処理ツールのライセンスはApache 2.0です。

システム要求

Apache Stormをインストールするには、次のソフトウェアが必要です。

  • ジャワ
  • sudo特権を持つユーザー

特徴

以下は、Apache Stormの重要な機能です。

  • 無料でオープンソース
  • リアルタイムのデータ処理
  • 高速で信頼性
  • 高度にスケーラブルで並列化可能
  • フォールトトレランス
  • 単純なAPI
  • 任意の言語で使用します
  • 使いやすく展開します
  • キューイングおよびデータベースシステムと統合します

インストール

** Ubuntu 18.04にApache Stormをインストールします**

Zookeeperフレームワークをインストールします

まず、サーバーにZookeeperフレームワークをインストールします。ディレクトリを作成し、ナビゲートします。

$ mkdir ~/bigdata
$ cd ~/bigdata

コマンドを実行して、Zookeeperフレームワークをダウンロードします。

$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz

下のコマンドを実行して、ファイルを抽出し、ディレクトリを変更します。

$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz

新しい名前でサンプル構成ファイルをコピーします。

$ cp conf/zoo_sample.cfg conf/zoo.cfg

conf/zoo.cfgファイルを開き、次のコードを追加します。

admin.enableServer=true
admin.serverPort=9990

Zookeeperを開始するためにコマンドを実行します。

$ bin/zkServer.sh start

Apache Stormをインストールします

コマンドを実行して、Apache Stormをダウンロードします。

$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz

以下のコマンドを使用して、TARファイルを抽出し、ディレクトリを変更します。

$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0

conf/storm.yamlファイルを開き、以下の行を追加します。

storm.zookeeper.servers:
 - "localhost"
nimbus.seeds: [ "localhost" ]

nimbusを起動するためにコマンドを実行します。

$ bin/storm nimbus

下のコマンドを実行して、スーパーバイザーを開始します。

$ bin/storm supervisor

UIを開始します。

$ bin/storm ui

ブラウザを開き、http：// localhost：8080を入力して、ストームクラスター情報とその実行中のトポロジにアクセスします。

探検

次のリンクが関連する場合があります。

-2021年のトップ5オープンソースビッグデータツール

 日本