Qu'est-ce qu'Emrfs ?
Qu'est-ce qu'Emrfs ?

Vidéo: Qu'est-ce qu'Emrfs ?

Vidéo: Qu'est-ce qu'Emrfs ?
Vidéo: What is Amazon EMR and how can I use it for processing data? 2024, Novembre
Anonim

Le système de fichiers DME ( EMRFS ) est une implémentation de HDFS que tous les clusters Amazon EMR utilisent pour lire et écrire des fichiers normaux depuis Amazon EMR directement vers Amazon S3. Le cryptage des données vous permet de crypter des objets qui EMRFS écrit sur Amazon S3 et active EMRFS pour travailler avec des objets chiffrés dans Amazon S3.

À ce sujet, quelle est la vue cohérente d'Emrfs ?

Les Vue cohérente EMRFS crée et utilise des métadonnées dans une table Amazon DynamoDB pour maintenir un vue cohérente de vos objets S3. Ce tableau suit certaines opérations mais ne contient aucune de vos données.

quelle est la différence entre s3 et s3a ? C'est le différence entre les trois: s3 est une superposition basée sur des blocs au-dessus d'Amazon S3 , tandis que s3n/ s3a ne sont pas. Ce sont des objets. s3n prend en charge les objets jusqu'à 5 Go lorsque la taille est la préoccupation, tandis que s3a prend en charge les objets jusqu'à 5 To et a des performances plus élevées.

En conséquence, EMR utilise-t-il HDFS ?

DME Système de fichiers (EMRFS) Vous peut utiliser Soit HDFS ou Amazon S3 comme système de fichiers dans votre cluster. Le plus souvent, Amazon S3 est utilisé pour stocker les données d'entrée et de sortie et les résultats intermédiaires sont stockés dans HDFS.

Qu'est-ce que s3a ?

S3A (Schéma d'URI: s3a ) Un successeur du S3 Natif, s3n fs, le S3a : le système utilise les bibliothèques d'Amazon pour interagir avec S3 . Ceci permet S3a pour prendre en charge des fichiers plus volumineux (plus de limite de 5 Go), des opérations plus performantes et plus encore.

Conseillé: