Traitement des données en mémoire avec outil gratuit de Big Data

Aperçu

Apache Spark est un moteur de traitement des mégadonnées gratuit et open source. Il est basé sur Hadoop MapReduce et est conçu pour un calcul rapide. Apache Spark étend le modèle Hadoop MapReduce pour permettre à plus de types de calculs, tels que les requêtes interactives et le traitement des flux, à effectuer plus efficacement. Il prend en charge l’informatique en cluster en mémoire, ce qui augmente la vitesse de traitement d’une application. Apache Spark gère une variété de charges de travail, notamment des algorithmes itératifs, des requêtes interactives et du streaming. Il est livré avec des fonctionnalités prêtes à l’emploi telles que la tolérance aux pannes, l’analyse avancée, l’évaluation paresseuse, le traitement de flux en temps réel, le traitement des données en mémoire et bien d’autres. Plus de 80 opérateurs de haut niveau sont disponibles dans Apache Spark, qui peuvent être utilisés pour créer des applications parallèles. Il comprend également une API qui permet le traitement de flux en temps réel. Dans Apache Spark, toutes les transformations sont de nature paresseuse. Cela implique qu’au lieu de fournir le résultat immédiatement, il crée un nouveau RDD à partir de celui existant. En conséquence, les performances du système sont améliorées. Apache Spark prend en charge plusieurs langues comme Java, R, Scala, Python tandis que Hadoop ne prend en charge que le langage Java. Apache Spark permet un traitement en mémoire des tâches qui augmentent la vitesse massive. Apache Spark fonctionne bien avec le système de fichiers HDFS de Hadoop et plusieurs formats de fichiers comme Parquet, JSON, CSV, ORC. Hadoop peut être facilement intégré à Apache Spark comme source de données d’entrée ou destination.