پردازش داده های حافظه با ابزار بزرگ داده بزرگ

بررسی اجمالی

Apache Spark یک موتور پردازش داده بزرگ منبع آزاد و باز است. این مبتنی بر Hadoop MapReduce است و برای محاسبات سریع طراحی شده است. Apache Spark مدل Hadoop MapReduce را گسترش می دهد تا انواع بیشتری از محاسبات ، مانند نمایش داده های تعاملی و پردازش جریان ، با کارآمدتر انجام شود. از محاسبات خوشه ای در حافظه پشتیبانی می کند ، که سرعت پردازش یک برنامه را افزایش می دهد. Apache Spark انواع بار کاری از جمله الگوریتم های تکراری ، نمایش داده های تعاملی و جریان را اداره می کند. این ویژگی با ویژگی های خارج از جعبه مانند تحمل گسل ، تجزیه و تحلیل پیشرفته ، ارزیابی تنبل ، پردازش جریان در زمان واقعی ، پردازش داده های حافظه و موارد دیگر همراه است. بیش از 80 اپراتور سطح بالا در Apache Spark موجود است که می تواند برای ایجاد برنامه های موازی استفاده شود. همچنین شامل یک API است که امکان پردازش جریان در زمان واقعی را فراهم می کند. در Apache Spark ، همه تحولات در طبیعت تنبل هستند. این بدان معنی است که به جای ارائه سریع نتیجه ، RDD جدید از موجود موجود ایجاد می کند. در نتیجه ، عملکرد سیستم بهبود یافته است. Apache Spark از چندین زبان مانند Java ، R ، Scala ، Python پشتیبانی می کند ، در حالی که Hadoop فقط از زبان جاوا پشتیبانی می کند. Apache Spark اجازه می دهد تا در حافظه کارهایی که سرعت گسترده را افزایش می دهد ، پردازش شود. Apache Spark با سیستم فایل HDFS Hadoop و چندین فرم پرونده مانند Parquet ، JSON ، CSV ، ORC خوب کار می کند. Hadoop را می توان به راحتی با Apache Spark یا به عنوان منبع داده ورودی یا مقصد ادغام کرد.