Est-ce que s3 est basé sur HDFS ?
Est-ce que s3 est basé sur HDFS ?

Vidéo: Est-ce que s3 est basé sur HDFS ?

Vidéo: Est-ce que s3 est basé sur HDFS ?
Vidéo: PerfUG #010 Hadoop et HDFS : Stockage, Requetage et Performances 2024, Mars
Anonim

S3 est en fait un stockage infini dans le cloud mais HDFS n'est pas. HDFS est hébergé sur des machines physiques, vous pouvez donc y exécuter n'importe quel programme. Vous ne pouvez rien exécuter sur S3 car c'est juste Object Store et non FS.

Alors, s3 est-il un système de fichiers distribué ?

S3 n'est pas un système de fichiers distribué . Il s'agit d'un magasin d'objets binaires qui stocke les données dans des paires clé-valeur. C'est essentiellement un type de base de données NoSQL. Chaque compartiment est une nouvelle « base de données », les clés étant votre « chemin de dossier » et les valeurs étant les objets binaires ( des dossiers ).

On peut aussi se demander si AWS est basé sur Hadoop ? Hadoop est un framework qui permet de traiter de grands ensembles de données sur plusieurs ordinateurs. Il comprend Map/Reduce (traitement parallèle) et HDFS (système de fichiers distribué). AWS est un entrepôt de données construit en plus d'une technologie propriétaire développée à l'origine par ParAccel.

À côté de cela, comment transférer des fichiers de s3 vers HDFS ?

Réponse. Il n'y a pas de direct moyen de copier des fichiers de S3 vers HDFS sans passer par les locaux des dossiers . Cependant, vous pouvez utiliser le composant tSystem dans un Job standard pour appeler le natif Hadoop commande que vous utilisez habituellement pour copier des fichiers , par exemple, s3 -dist-cp.

Qu'est-ce que la base de données s3 ?

Amazone S3 ou Amazon Simple Storage Service est un service proposé par Amazon Web Services (AWS) qui fournit un stockage d'objets via une interface de service Web. Amazone S3 utilise la même infrastructure de stockage évolutive qu'Amazon.com utilise pour gérer son réseau mondial de commerce électronique.

Conseillé: