Où puis-je trouver des bougies d'allumage ?

2024 Auteur: Lynn Donovan | [email protected]. Dernière modifié: 2023-12-15 23:46

Enregistrer répertoires

L'emplacement par défaut de SPARK_WORKER_LOG_DIR est /var/ Journal / étincelle /ouvrier. Le défaut Journal répertoire pour démarrer le Étincelle Le serveur SQL Thrift est $HOME/ étincelle -thrift-server. Étincelle Coque et application journaux sont sortis sur la console. Enregistrer les fichiers de configuration se trouvent dans le même répertoire que étincelle -env.sh.

À cet égard, comment puis-je obtenir des journaux d'étincelles ?

Étincelle emploi ou candidature à partir de la page Analyser, vous pouvez accéder au journaux via l'interface utilisateur de l'application et Étincelle Interface utilisateur de l'application. page, vous pouvez accéder à la journaux via le Étincelle Interface utilisateur de l'application. Vous pouvez également ajouter journaux identifier les erreurs et les exceptions dans Étincelle échecs d'emploi ou d'application.

De même, comment vérifiez-vous les journaux de fil? Affichage d'un Journal fichier Le journaux d'un maître d'application peut également être consulté dans un navigateur dans l'interface utilisateur du gestionnaire de ressources sur fil .resourcemanager.webapp.address}/cluster (https://localhost:8088 sur un seul nœud "cluster").

De même, on peut se demander comment obtenir les journaux de l'exécuteur sur Spark ?

Réponse

1. Instructions pour obtenir les journaux de l'exécuteur Spark:
2. Pour Amabari -- 1) Accédez au service Spark et à l'onglet Configs: 2) Recherchez l'entrée « Advanced spark-log4j-properties ».
3. Pour Cloudera -- Définir: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Comment trouver l'URL de mon serveur Spark History ?

Par exemple, pour le serveur d'historique , ils seraient généralement accessibles à l'adresse serveur - URL >:18080/api/v1, et pour une application en cours d'exécution, sur https://localhost:4040/api/v1. Dans l'API, une application est référencée par son ID d'application, [app-id].