Ücretsiz büyük veri aracı ile bellek içi veri işleme

Genel Bakış

Apache Spark, ücretsiz ve açık kaynaklı büyük veri işleme motorudur. Hadoop MapReduce’a dayanır ve hızlı hesaplama için tasarlanmıştır. Apache Spark, etkileşimli sorgular ve akış işlemesi gibi daha fazla hesaplama türünün daha verimli bir şekilde gerçekleştirilmesi için Hadoop MapReduce modelini genişletir. Bir uygulamanın işleme hızını artıran bellek içi küme hesaplamasını destekler. Apache Spark, yinelemeli algoritmalar, etkileşimli sorgular ve akış dahil olmak üzere çeşitli iş yüklerini işler. Arıza toleransı, gelişmiş analitik, tembel değerlendirme, gerçek zamanlı akış işleme, bellek içi veri işleme ve daha fazlası gibi kullanıma hazır özelliklerle birlikte gelir. Paralel uygulamalar oluşturmak için kullanılabilecek Apache Spark’ta 80’den fazla üst düzey operatör mevcuttur. Ayrıca gerçek zamanlı akış işlemeye izin veren bir API içerir. Apache Spark’ta tüm dönüşümler doğada tembeldir. Sonucu hemen sağlamak yerine, mevcut olandan yeni bir RDD oluşturduğu anlamına gelir. Sonuç olarak, sistemin performansı iyileştirildi. Apache Spark, Java, R, Scala, Python gibi birden fazla dili desteklerken, Hadoop sadece Java dilini destekler. Apache Spark, büyük hızı artıran görevlerin bellek içi işlenmesine izin verir. Apache Spark, Hadoop’un HDFS dosya sistemi ve Parke, JSON, CSV, ORC gibi birden fazla dosya formatıyla iyi çalışır. Hadoop, bir giriş veri kaynağı veya hedef olarak Apache Spark ile kolayca entegre edilebilir.