Apache Storm नि: शुल्क डेटा उपकरण
डेटा स्ट्रीम के प्रसंस्करण के लिए मुफ्त बिग डेटा एनालिटिक्स टूल
बिग डेटा प्रोसेसिंग टूल का उपयोग करके फॉल्ट-टॉलरेंट और क्षैतिज स्केलेबल विधि में बड़ी मात्रा में डेटा को जल्दी से संसाधित करें और रीयल-टाइम डेटा एनालिटिक्स का उपयोग करें।
अवलोकन
अपाचे स्टॉर्म एक ओपन सोर्स रियल-टाइम डेटा प्रोसेसिंग टूल है। यह एक सरल, उपयोगकर्ता के अनुकूल बिग डेटा प्रोसेसिंग टूल है जो किसी भी प्रोग्रामिंग भाषा के साथ काम करता है। इसे छोटे और बड़े दोनों व्यवसायों में शामिल किया जा सकता है। यह अत्यधिक स्केलेबल है और लोड बढ़ने पर भी दक्षता बनाए रख सकता है, संसाधनों को रैखिक तरीके से जोड़कर। अपाचे तूफान वास्तविक समय में डेटा स्ट्रीम की प्रक्रिया करता है, जबकि Hadoop बैचों में डेटा की प्रक्रिया करता है। मौजूदा कतार और डेटाबेस प्रौद्योगिकियों को अपाचे तूफान के साथ एकीकृत किया जा सकता है। यह डेटा प्रोसेसिंग की गारंटी देता है, भले ही एक या अधिक क्लस्टर के लिंक किए गए नोड्स विफल हो जाते हैं या संदेश खो जाते हैं। अपाचे स्टॉर्म में ट्यूपल, स्ट्रीम, स्पाउट्स और बोल्ट सहित चार घटक हैं। अपाचे तूफान में, टपल प्राथमिक डेटा संरचना है। यह सभी डेटा प्रकारों का समर्थन करता है और इसमें ऑर्डर किए गए तत्वों की एक सूची है। स्ट्रीम ट्यूपल्स का एक अनियंत्रित अनुक्रम है। TOUTS धाराओं का एक स्रोत है जिसका उपयोग डेटा स्रोतों से डेटा पढ़ने के लिए किया जाता है। टोंटी को लागू करने के लिए मुख्य इंटरफ़ेस ISPOUT है। इसके अलावा, कई इंटरफेस उपलब्ध हैं, जिनमें Irichspout, Baserichspout और Kafkaspout शामिल हैं। बोल्ट तार्किक प्रसंस्करण के घटक हैं। स्पाउट्स बोल्ट और बोल्ट प्रक्रिया को जानकारी भेजते हैं, जिसके परिणामस्वरूप एक नया आउटपुट स्ट्रीम होता है। बोल्ट को लागू करने के लिए केंद्रीय इंटरफ़ेस को “ibolt” कहा जाता है। इसके अलावा, अपाचे स्टॉर्म प्रसिद्ध आरईई बिग डेटा एनालिटिक्स टूल है। नतीजतन, कई बड़े निगम इसका उपयोग करते हैं जैसे कि ट्विटर, नेवीसिट, वेगो, याहू और कई अन्य। यह रियल टाइम एनालिटिक्स टूल जावा भाषा में विकसित किया गया है। इस रियलटाइम डेटा प्रोसेसिंग टूल के लिए लाइसेंस अपाचे 2.0 है।
सिस्टम आवश्यकताएं
अपाचे तूफान स्थापित करने के लिए, आपके पास निम्नलिखित सॉफ्टवेयर्स होने चाहिए:
- जावा
- SUDO विशेषाधिकारों के साथ उपयोगकर्ता
विशेषताएँ
अपाचे तूफान की प्रमुख विशेषताएं निम्नलिखित हैं:
- मुक्त और खुला स्रोत
- वास्तविक समय डेटा प्रसंस्करण
- तेज और विश्वसनीय
- अत्यधिक स्केलेबल और समानांतर योग्य
- दोष सहिष्णुता
- सरल एपीआई
- किसी भी भाषा के साथ उपयोग करें
- उपयोग करने और तैनात करने में आसान
- कतार और डेटाबेस सिस्टम के साथ एकीकृत करें
स्थापना
Ubuntu 18.04 पर अपाचे तूफान स्थापित करें
Zookeeper ढांचा स्थापित करें
सबसे पहले, सर्वर पर Zookeeper ढांचा स्थापित करें। निर्देशिका बनाएं और इसमें नेविगेट करें।
$ mkdir ~/bigdata
$ cd ~/bigdata
Zookeeper फ्रेमवर्क डाउनलोड करने के लिए कमांड निष्पादित करें।
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
फाइलें निकालें और कमांड के नीचे चलाकर निर्देशिका बदलें।
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
नए नाम के साथ नमूना कॉन्फ़िगरेशन फ़ाइल कॉपी करें।
$ cp conf/zoo_sample.cfg conf/zoo.cfg
CONF/zoo.cfg फ़ाइल खोलें और इसमें निम्न कोड जोड़ें।
admin.enableServer=true
admin.serverPort=9990
Zookeeper शुरू करने के लिए कमांड चलाएं।
$ bin/zkServer.sh start
अपाचे तूफान स्थापित करें
Apache Storm डाउनलोड करने के लिए कमांड निष्पादित करें।
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
टार फ़ाइल निकालें और नीचे दिए गए कमांड का उपयोग करके निर्देशिका बदलें।
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
कन्फ/स्टॉर्म.YAML फ़ाइल खोलें और इसमें नीचे लाइनों को जोड़ें।
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
निंबस शुरू करने के लिए कमांड चलाएं।
$ bin/storm nimbus
कमांड के नीचे चलाकर पर्यवेक्षक को शुरू करें।
$ bin/storm supervisor
UI शुरू करें।
$ bin/storm ui
अपना ब्राउज़र खोलें और HTTP: // LocalHost: 8080 में तूफान क्लस्टर जानकारी और इसके चल रहे टोपोलॉजी तक पहुंचने के लिए दर्ज करें।
