Vidéo: Qu'est-ce que le mappeur et le réducteur dans Hadoop ?
2024 Auteur: Lynn Donovan | [email protected]. Dernière modifié: 2023-12-15 23:46
L'atout majeur de CarteRéduire est qu'il est facile de faire évoluer le traitement des données sur plusieurs nœuds de calcul. Sous le CarteRéduire modèle, les primitives de traitement des données sont appelées mappeurs et réducteurs . Décomposition d'une application informatique en mappeurs et réducteurs est parfois non négligeable.
En gardant cela à l'esprit, qu'est-ce que le mappeur et le réducteur ?
MapReduce se compose de deux fonctions clés: Mapper et réducteur . Mapper est une fonction qui traite les données d'entrée. Les mappeur traite les données et crée plusieurs petits morceaux de données.
qu'est-ce qu'un mappeur ? UNE mappeur peut décrire une donnée mappeur ainsi qu'une personne qui crée des cartes géographiques. Les devoirs d'un géologue mappeur ou technicien en cartographie comprennent la collecte et le traitement de données géographiques pour créer une carte d'une zone.
De cette façon, quelle est l'utilisation du mappeur et du réducteur dans Hadoop ?
Selon The Apache Software Foundation, l'objectif principal de Carte / Réduire consiste à diviser l'ensemble de données d'entrée en morceaux indépendants qui sont traités de manière complètement parallèle. Les Hadoop MapReduce framework trie les sorties des cartes, qui sont ensuite entrées dans le réduire Tâches.
A quoi sert le mappeur dans Hadoop ?
Dans une course Hadoop emploi, les applications implémentent généralement le Mapper et les interfaces de réduction pour fournir la carte (tâches individuelles transformant les enregistrements d'entrée en enregistrements intermédiaires) et les méthodes de réduction pour réduire un ensemble de valeurs intermédiaires qui partagent une clé vers un ensemble plus petit de valeurs.
Conseillé:
Qu'est-ce qu'un processus dans un système d'exploitation, qu'est-ce qu'un thread dans un système d'exploitation ?
Un processus, dans les termes les plus simples, est un programme d'exécution. Un ou plusieurs threads s'exécutent dans le contexte du processus. Un thread est l'unité de base à laquelle le système d'exploitation alloue du temps processeur. Le pool de threads est principalement utilisé pour réduire le nombre de threads d'application et assurer la gestion des threads de travail
Qu'est-ce que le réducteur dans React JS?
Le réducteur est une fonction pure qui prend l'état précédent et une action, et renvoie l'état suivant. (état précédent, action) => état suivant. C'est ce qu'on appelle un réducteur car c'est le type de fonction que vous passeriez à Array
C'est quoi le réducteur ?
Un réducteur est une fonction qui détermine les changements d'état d'une application. Il utilise l'action qu'il reçoit pour déterminer ce changement. Nous avons des outils, comme Redux, qui aident à gérer les changements d'état d'une application dans un seul magasin afin qu'ils se comportent de manière cohérente
Qu'est-ce qu'une classe de mappeur ?
La classe Mapper est un type générique, avec quatre types de paramètres formels qui spécifient la clé d'entrée, la valeur d'entrée, la clé de sortie et les types de valeur de sortie de la fonction map
A quoi sert le mappeur en Java ?
Le mappeur d'objets Jackson peut analyser JSON en objets de classes que vous avez développées ou en objets du modèle d'arborescence JSON intégré expliqué plus loin dans ce didacticiel. Soit dit en passant, la raison pour laquelle il s'appelle ObjectMapper est qu'il mappe JSON en objets Java (désérialisation) ou des objets Java en JSON (sérialisation)