Qu'est-ce que le catalogue de données AWS ?
Qu'est-ce que le catalogue de données AWS ?

Vidéo: Qu'est-ce que le catalogue de données AWS ?

Vidéo: Qu'est-ce que le catalogue de données AWS ?
Vidéo: DataGalaxy : le catalogue de données pour votre Modern Data Stack 2024, Novembre
Anonim

Les AWS La colle Catalogue de données est un référentiel central pour stocker des métadonnées structurelles et opérationnelles pour tous vos Les données les atouts. Pour un donné Les données défini, vous pouvez stocker sa définition de table, son emplacement physique, ajouter des attributs pertinents pour l'entreprise, ainsi que suivre comment cela Les données a changé au fil du temps.

Compte tenu de cela, qu'est-ce que le catalogue de données AWS Glue ?

Les Catalogue de données AWS Glue contient des références à Les données qui est utilisé comme sources et cibles de vos tâches d'extraction, de transformation et de chargement (ETL) dans Colle AWS . En règle générale, vous exécutez un robot d'exploration pour faire l'inventaire des Les données dans ton Les données magasins, mais il existe d'autres façons d'ajouter des tables de métadonnées dans votre Catalogue de données.

À côté de ci-dessus, peut-il être défini dans la colle AWS ? Colle AWS est sans serveur, il n'y a donc pas d'infrastructure pour ensemble ou gérer. Tu pouvez aussi utiliser le Colle AWS Opérations d'API avec lesquelles s'interfacer Colle AWS prestations de service. Modifiez, déboguez et testez votre code ETL Python ou Scala Apache Spark à l'aide d'un environnement de développement familier.

A savoir aussi, qu'est-ce qu'un catalogue de données ?

UNE catalogue de données est un outil de gestion de métadonnées conçu pour aider les organisations à trouver et à gérer de grandes quantités de Les données – y compris des tableaux, des fichiers et des bases de données – stockés dans leurs systèmes ERP, de ressources humaines, de finance et de commerce électronique ainsi que d'autres sources telles que les flux de médias sociaux.

A quoi sert la colle AWS ?

Colle AWS est un service d'extraction, de transformation et de chargement (ETL) entièrement géré qui permet aux clients de préparer et de charger facilement leurs données à des fins d'analyse. Vous pouvez créer et exécuter une tâche ETL en quelques clics dans le AWS Console de gestion.

Conseillé: