Apache Storm ابزار داده بزرگ رایگان
ابزارهای تجزیه و تحلیل داده های بزرگ رایگان برای پردازش جریان داده ها
به سرعت مقدار زیادی از داده ها را با استفاده از ابزار پردازش داده های بزرگ و دسترسی به تجزیه و تحلیل داده های در زمان واقعی ، به روش قابل تحمل خطا و افقی پردازش کنید.
بررسی اجمالی
Apache Storm یک ابزار پردازش داده در زمان واقعی منبع باز است. این یک ابزار پردازش داده بزرگ و کاربر پسند است که با هر زبان برنامه نویسی کار می کند. این می تواند در هر دو مشاغل کوچک و بزرگ گنجانیده شود. این مقیاس بسیار مقیاس پذیر است و با افزودن منابع به صورت خطی می تواند حتی در صورت افزایش بار ، کارآیی را حفظ کند. Apache Storm جریان داده ها را در زمان واقعی پردازش می کند ، در حالی که Hadoop داده ها را در دسته ها پردازش می کند. فن آوری های موجود در صف و پایگاه داده می تواند با طوفان آپاچی ادغام شود. این پردازش داده ها را تضمین می کند حتی اگر یک یا چند گره مرتبط با خوشه از بین برود یا پیام از بین برود. Apache Storm دارای چهار مؤلفه از جمله Tuple ، Stream ، Spouts و پیچ و مهره است. در طوفان آپاچی ، Tuple ساختار داده اصلی است. این از انواع داده ها پشتیبانی می کند و لیستی از عناصر سفارش داده شده را دارد. جریان یک توالی بدون هماهنگ از تاپل ها است. Spouts منبع جریان است که برای خواندن داده ها از منابع داده استفاده می شود. رابط اصلی برای اجرای Spouts ISPOUT است. علاوه بر این ، رابط های بی شماری در دسترس است ، از جمله Irichspout ، Baserichspout و Kafkaspout. پیچ ها مؤلفه های پردازش منطقی هستند. Spouts اطلاعات را به فرآیند پیچ و مهره ها ارسال می کند ، که منجر به یک جریان خروجی جدید می شود. رابط اصلی برای اجرای پیچ ها “ibolt” نامیده می شود. علاوه بر این ، Apache Storm ابزاری مشهور Big Data Analytics است. در نتیجه ، بسیاری از شرکت های بزرگ از آن مانند توییتر ، Navisite ، Wego ، Yahoo و بسیاری دیگر استفاده می کنند. این ابزار تحلیلی زمان واقعی به زبان جاوا تهیه شده است. مجوز این ابزار پردازش داده RealTime Apache 2.0 است.
الزامات سیستم
برای نصب طوفان آپاچی ، باید نرم افزارهای زیر را داشته باشید:
- جاوا
- کاربر با امتیازات سودو
امکانات
در زیر ویژگی های اصلی طوفان آپاچی وجود دارد:
- منبع آزاد و آزاد
- پردازش داده های زمان واقعی
- سریع و قابل اعتماد
- بسیار مقیاس پذیر و موازی
- تحمل خطا
- API ساده
- با هر زبانی استفاده کنید
- استفاده و استقرار آسان
- با سیستم های صف و پایگاه داده ادغام شوید
نصب و راه اندازی
نصب طوفان آپاچی را در اوبونتو 18.04 نصب کنید
چارچوب Zookeeper را نصب کنید
ابتدا چارچوب Zookeeper را روی سرور نصب کنید. دایرکتوری ایجاد کنید و به آن حرکت کنید.
$ mkdir ~/bigdata
$ cd ~/bigdata
اجرای دستور برای بارگیری چارچوب Zookeeper.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
پرونده ها را با اجرای زیر دستورات استخراج کرده و فهرست را تغییر دهید.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
پرونده پیکربندی نمونه را با نام جدید کپی کنید.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
فایل Conf/zoo.cfg را باز کنید و کد زیر را به آن اضافه کنید.
admin.enableServer=true
admin.serverPort=9990
فرمان را برای شروع Zookeeper اجرا کنید.
$ bin/zkServer.sh start
طوفان آپاچی را نصب کنید
اجرای دستور برای بارگیری Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
پرونده TAR را استخراج کرده و فهرست را با استفاده از دستورات زیر تغییر دهید.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
پرونده conf/storm.yaml را باز کنید و خطوط زیر آن را اضافه کنید.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
دستور را برای شروع Nimbus اجرا کنید.
$ bin/storm nimbus
سرپرست را با اجرای دستور زیر شروع کنید.
$ bin/storm supervisor
UI را شروع کنید.
$ bin/storm ui
مرورگر خود را باز کنید و برای دسترسی به اطلاعات خوشه طوفان و توپولوژی در حال اجرا ، http: // localhost: 8080 را وارد کنید.
