Vidéo: Qu'est-ce que la réduction par clé ?
2024 Auteur: Lynn Donovan | [email protected]. Dernière modifié: 2023-12-15 23:46
La fonction Spark RDD reduceByKey fusionne les valeurs pour chaque clé à l'aide d'un associatif réduire fonction. Cela signifie intuitivement que cette fonction produit le même résultat lorsqu'elle est appliquée de manière répétitive sur le même ensemble de données RDD avec plusieurs partitions, quel que soit l'ordre des éléments.
Alors, quelle est la différence entre groupByKey et reduceByKey ?
groupeParClé () consiste simplement à regrouper votre ensemble de données en fonction d'une clé. réduireParClé () est quelque chose comme regroupement + agrégation. réduireParClé peut être utilisé lorsque nous exécutons un ensemble de données volumineux. AggregateByKey() est logiquement identique à réduireParClé () mais il vous permet de retourner le résultat dans différent taper.
Sachez également, pourquoi réduire l'action en étincelle ? Réduction des étincelles l'opération est une action type d'opération et il déclenche une exécution complète du DAG pour toutes les instructions paresseuses alignées. Étincelle RDD réduire La fonction réduit les éléments de ce RDD à l'aide de l'opérateur binaire commutatif et associatif spécifié. Réduction des étincelles le fonctionnement est presque similaire à réduire méthode dans Scala.
A côté de ci-dessus, qu'est-ce que Pairrdd ?
Spark fournit des opérations spéciales sur les RDD contenant des paires clé/valeur. Ces RDD sont appelés RDD paires. Les paires RDD sont un élément utile dans de nombreux programmes, car elles exposent des opérations qui vous permettent d'agir sur chaque clé en parallèle ou de regrouper des données sur le réseau. Paire de RDD sont des paires CLÉ/VALEUR.
Est-ce que reduceByKey est une action ?
reduce() génère une collection qui ne s'ajoute pas au graphe acyclique dirigé (DAG) et est donc implémentée comme un action . Cependant, réduireParClé () renvoie un RDD qui est juste un autre niveau/état dans le DAG, est donc une transformation.
Conseillé:
Qu'est-ce que la clé privée et la clé publique dans Blockchain ?
Lorsque quelqu'un vous envoie des crypto-monnaies via la Blockchain, il les envoie en fait vers une version hachée de ce que l'on appelle la « clé publique ». Il y a une autre clé qui leur est cachée, connue sous le nom de « clé privée ». Cette clé privée est utilisée pour dériver la clé publique
Qu'entendez-vous par cryptographie à clé privée et à clé publique ?
Dans la cryptographie à clé publique, deux clés sont utilisées, une clé est utilisée pour le cryptage et tandis que l'autre est utilisée pour le décryptage. 3. Dans la cryptographie à clé privée, la clé est gardée secrète. En cryptographie à clé publique, l'une des deux clés est gardée secrète
Qu'est-ce que la clé primaire et la clé étrangère dans db2 ?
Une clé étrangère est un ensemble de colonnes d'une table qui doivent correspondre à au moins une clé primaire d'une ligne d'une autre table. C'est une contrainte référentielle ou contrainte d'intégrité référentielle. C'est une règle logique sur les valeurs dans plusieurs colonnes dans une ou plusieurs tables
Qu'est-ce que la réduction de fonctionnalités dans l'apprentissage automatique ?
Le but de l'utilisation de la réduction de caractéristiques est de réduire le nombre de caractéristiques (ou variables) que l'ordinateur doit traiter pour exécuter sa fonction. La réduction des fonctionnalités est utilisée pour réduire le nombre de dimensions, rendant les données moins éparses et plus statistiquement significatives pour les applications d'apprentissage automatique
Qu'est-ce que la clé primaire, la clé secondaire et la clé étrangère ?
Clé étrangère : la clé primaire est-elle une table apparaissant (avec référence croisée) dans une autre table. Clé secondaire (ou alternative) : est un champ de la table qui n'est pas sélectionné pour être l'un des deux types ci-dessus