Atminimo duomenų apdorojimas naudojant nemokamą „Big Data“ įrankį

Apžvalga

„Apache Spark“ yra nemokamas ir atvirojo kodo „Big Data“ apdorojimo variklis. Jis pagrįstas „Hadoop MapReduce“ ir yra skirtas greitai skaičiuoti. „Apache Spark“ išplečia „Hadoop MapReduce“ modelį, kad būtų galima efektyviau atlikti daugiau rūšių skaičiavimų, tokių kaip interaktyvios užklausos ir srauto apdorojimas. Tai palaiko „Memory“ klasterio skaičiavimą, kuris padidina programos apdorojimo greitį. „Apache Spark“ tvarko įvairius darbo krūvius, įskaitant iteracinius algoritmus, interaktyvias užklausas ir srautą. Jis pateikiamas su tokiomis funkcijomis kaip gedimų tolerancija, išplėstinė analizė, tingus įvertinimas, realaus laiko srauto apdorojimas, atminties duomenų apdorojimas ir daugelis kitų. „Apache Spark“ galima įsigyti daugiau nei 80 aukšto lygio operatorių, kurie gali būti naudojami kuriant lygiagrečias programas. Tai taip pat apima API, leidžiančią apdoroti realiuoju laiku. „Apache“ kibirkštyje visos transformacijos yra tinginio pobūdžio. Tai reiškia, kad užuot nedelsiant pateikęs rezultatą, jis sukuria naują RDD iš esamos. Dėl to sistemos veikimas pagerėja. „Apache Spark“ palaiko kelias kalbas, tokias kaip „Java“, „R“, „Scala“, „Python“, o „Hadoop“ palaiko tik „Java“ kalbą. „Apache Spark“ leidžia atmintyje apdoroti užduotis, kurios padidina didžiulį greitį. „Apache Spark“ gerai veikia su „Hadoop“ HDFS failų sistema ir keliais failų formatais, tokiais kaip „Parquet“, „JSON“, CSV, ORC. „Hadoop“ galima lengvai integruoti su „Apache Spark“ kaip įvesties duomenų šaltinis arba paskirties vieta.