Table des matières:

Quels sont les principaux paramètres de configuration que l'utilisateur doit spécifier pour exécuter le travail MapReduce ?
Quels sont les principaux paramètres de configuration que l'utilisateur doit spécifier pour exécuter le travail MapReduce ?

Vidéo: Quels sont les principaux paramètres de configuration que l'utilisateur doit spécifier pour exécuter le travail MapReduce ?

Vidéo: Quels sont les principaux paramètres de configuration que l'utilisateur doit spécifier pour exécuter le travail MapReduce ?
Vidéo: Create and Execute MapReduce in Eclipse 2024, Avril
Anonim

Les principaux paramètres de configuration que les utilisateurs doivent spécifier dans le framework « MapReduce » sont:

  • Travaux emplacements d'entrée dans le système de fichiers distribué.
  • Travaux emplacement de sortie dans le système de fichiers distribué.
  • Format d'entrée des données.
  • Format de sortie des données.
  • Classe contenant la fonction map.
  • Classe contenant la fonction de réduction.

Ici, quels sont les principaux paramètres de configuration dans un programme MapReduce ?

Les principaux paramètres de configuration dans le framework « MapReduce » sont:

  • Emplacement d'entrée des Jobs dans le système de fichiers distribué.
  • Emplacement de sortie des Jobs dans le système de fichiers distribué.
  • Le format d'entrée des données.
  • Le format de sortie des données.
  • La classe qui contient la fonction map.
  • La classe qui contient la fonction de réduction.

On peut aussi se demander quels sont les paramètres des mappeurs et des réducteurs ? Les quatre paramètres pour les mappeurs sont:

  • LongWritable (entrée)
  • saisie de texte)
  • texte (sortie intermédiaire)
  • IntWritable (sortie intermédiaire)

La question est également de savoir quels sont les principaux composants du travail MapReduce ?

  • Classe de pilote principale qui fournit les paramètres de configuration du travail.
  • Classe de mappeur qui doit étendre org. apache. hadoop. carteréduire. Classe Mapper et implémentation de la méthode map().
  • Classe de réducteur qui devrait étendre org. apache. hadoop. carteréduire. Classe de réducteur.

Qu'est-ce que le partitionneur et comment cela aide-t-il dans le processus de travail MapReduce ?

Partitionneur dans MapReduce job l'exécution contrôle le partitionnement des clés des sorties de carte intermédiaires. Avec le aider de la fonction de hachage, la clé (ou un sous-ensemble de la clé) dérive le cloison . Les enregistrements ayant la même valeur de clé vont dans le même cloison (au sein de chaque mappeur).

Conseillé: