Table des matières:

Comment savoir si Spark est installé sous Linux ?
Comment savoir si Spark est installé sous Linux ?

Vidéo: Comment savoir si Spark est installé sous Linux ?

Vidéo: Comment savoir si Spark est installé sous Linux ?
Vidéo: Comment installer Spark sous Ubuntu - Apache Spark Tuto 2024, Novembre
Anonim

2 réponses

  1. Ouvert Étincelle shell Terminal et entrez la commande.
  2. version sc.ou étincelle -soumettre --version.
  3. Le moyen le plus simple est de simplement lancer " étincelle -shell" dans la ligne de commande. Il affichera le.
  4. version active actuelle de Étincelle .

A savoir également, comment savoir si Spark est installé sur Ubuntu ?

Installer Spark sur Ubuntu

  1. Téléchargez la dernière version de Spark ici.
  2. Décompressez l'archive.
  3. Déplacez le dossier résultant et créez un lien symbolique afin que vous puissiez avoir plusieurs versions de Spark installées.
  4. Testez le shell Spark.
  5. Peut-être que Scala n'est pas votre tasse de thé et que vous préférez utiliser Python.

Deuxièmement, où l'étincelle est-elle installée sur le DME ? À partir de emr -4.0. 0, toutes les applications sur DME sont dans /usr/lib. Étincelle est dans /usr/lib/ étincelle.

Par conséquent, comment mettre en place une étincelle ?

Étapes pour installer Spark

  1. Étape 1: Assurez-vous que Java est installé.
  2. Étape 2: Assurez-vous que Scala est installé.
  3. Étape 3: Téléchargez Scala.
  4. Étape 4: Installez Scala.
  5. Étape 5: Téléchargement d'Apache Spark.
  6. Étape 6: Installation de Spark.
  7. Étape 7: Vérifiez l'installation de l'application Spark sur votre système.

Dois-je installer Scala pour Spark ?

Vous serez avoir besoin d'utiliser un appareil compatible Scala version (2.10. x). Java est un must pour Étincelle + de nombreuses autres dépendances transitives ( scala compilateur est juste une bibliothèque pour JVM). PySpark se connecte simplement à distance (par socket) à la JVM en utilisant Py4J (interopérabilité Python-Java).

Conseillé: