Apache Storm Alat Data Besar Gratis
Alat analisis data besar gratis untuk memproses aliran data
Memproses dengan cepat sejumlah besar data dalam metode yang toleran terhadap kesalahan dan horizontal menggunakan alat pemrosesan data besar dan mengakses analitik data real-time.
Ringkasan
Apache Storm adalah alat pemrosesan data real-time open source. Ini adalah alat pemrosesan data besar yang sederhana dan ramah pengguna yang bekerja dengan bahasa pemrograman apa pun. Ini dapat dimasukkan dalam bisnis kecil dan besar. Ini sangat terukur dan dapat mempertahankan efisiensi bahkan ketika beban meningkat, dengan menambahkan sumber daya secara linier. Apache Storm memproses aliran data secara real time, sementara Hadoop memproses data dalam batch. Teknologi antrian dan basis data yang ada dapat diintegrasikan dengan Apache Storm. Ini menjamin pemrosesan data bahkan jika satu atau lebih node terkait cluster gagal atau pesan hilang. Apache Storm memiliki empat komponen termasuk tuple, stream, spouts, dan baut. Dalam Apache Storm, tuple adalah struktur data primer. Ini mendukung semua tipe data dan memiliki daftar elemen yang dipesan. Stream adalah urutan tupel yang tidak teratur. Spouts adalah sumber aliran yang digunakan untuk membaca data dari sumber data. Antarmuka utama untuk mengimplementasikan semburan adalah ISPOUT. Selanjutnya, ada banyak antarmuka yang tersedia, termasuk Irichspout, Baserichspout, dan Kafkaspout. Baut adalah komponen pemrosesan logis. Spouts mengirim informasi ke proses baut dan baut, yang menghasilkan aliran output baru. Antarmuka pusat untuk mengimplementasikan baut disebut “ibolt.” Selain itu, Apache Storm adalah alat analisis data besar REE yang terkenal. Akibatnya, banyak perusahaan besar menggunakannya seperti Twitter, Navisite, Wego, Yahoo, dan banyak lainnya. Alat analitik waktu nyata ini dikembangkan dalam bahasa Java. Lisensi untuk alat pemrosesan data realtime ini adalah Apache 2.0.
Persyaratan sistem
Untuk memasang Apache Storm, Anda harus memiliki perangkat lunak berikut:
- Java
- Pengguna dengan hak istimewa sudo
Fitur
Berikut ini adalah fitur utama dari Apache Storm:
- Sumber Gratis dan Terbuka
- Pemrosesan data waktu nyata
- Cepat dan andal
- Sangat terukur dan dapat diselimuti
- Toleransi kesalahan
- API Sederhana
- Gunakan dengan bahasa apa pun
- Mudah digunakan dan digunakan
- Integrasi dengan sistem antrian dan database
Instalasi
Instal Apache Storm di Ubuntu 18.04
Instal Kerangka Kerja Zookeeper
Pertama, instal kerangka kerja Zookeeper di server. Buat direktori dan navigasikan ke dalamnya.
$ mkdir ~/bigdata
$ cd ~/bigdata
Jalankan perintah untuk mengunduh kerangka kerja zooKeeper.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Ekstrak file dan ubah direktori dengan menjalankan perintah di bawah ini.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Salin file konfigurasi sampel dengan nama baru.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Buka file conf/zoo.cfg dan tambahkan kode berikut ke dalamnya.
admin.enableServer=true
admin.serverPort=9990
Jalankan perintah untuk memulai Zookeeper.
$ bin/zkServer.sh start
Instal Apache Storm
Jalankan perintah untuk mengunduh Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Ekstrak file tar dan ubah direktori menggunakan perintah di bawah ini.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Buka file conf/storm.yaml dan tambahkan baris di bawah ke dalamnya.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Jalankan perintah untuk memulai nimbus.
$ bin/storm nimbus
Mulailah supervisor dengan menjalankan perintah di bawah ini.
$ bin/storm supervisor
Mulai UI.
$ bin/storm ui
Buka browser Anda dan masukkan http: // localhost: 8080 untuk mengakses informasi cluster badai dan topologi berjalannya.
