Table des matières:

Comment démarrer mon serveur Spark History ?
Comment démarrer mon serveur Spark History ?

Vidéo: Comment démarrer mon serveur Spark History ?

Vidéo: Comment démarrer mon serveur Spark History ?
Vidéo: Nastasia Saby - 7 conseils pour démarrer avec Spark 2024, Novembre
Anonim

Pour activer le serveur d'historique Spark:

  1. Créez un répertoire pour les journaux d'événements dans le système de fichiers DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Lorsque la journalisation des événements est activée, le comportement par défaut consiste à enregistrer tous les journaux, ce qui entraîne une augmentation du stockage au fil du temps.

À côté de cela, comment configurer un serveur Spark History ?

Pour activer le serveur d'historique Spark:

  1. Créez un répertoire pour les journaux d'événements dans le système de fichiers DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Lorsque la journalisation des événements est activée, le comportement par défaut consiste à enregistrer tous les journaux, ce qui entraîne une augmentation du stockage au fil du temps.

De même, comment trouver l'URL de mon serveur Spark History ? Par exemple, pour le serveur d'historique , ils seraient généralement accessibles à l'adresse serveur - URL >:18080/api/v1, et pour une application en cours d'exécution, sur https://localhost:4040/api/v1. Dans l'API, une application est référencée par son ID d'application, [app-id].

De même, qu'est-ce que le serveur Spark History ?

Les Le serveur d'historique Spark est un outil de surveillance qui affiche des informations sur Étincelle applications. Cette information est extrait des données que les applications écrivent par défaut dans un répertoire sur Hadoop Distributed File System (HDFS).

Qu'est-ce que Sparkui ?

L'interface utilisateur Web Spark vous permet de voir une liste des étapes et des tâches du planificateur, des informations environnementales, des informations sur les exécuteurs en cours d'exécution et plus encore. Regardez cette démo de 30 minutes pour en savoir plus sur: Les composants et le cycle de vie d'un programme Spark. Comment votre application Spark s'exécute sur un cluster Hadoop.

Conseillé: