{"componentChunkName":"component---src-templates-post-template-js","path":"/posts/aws-glue-concepts","result":{"data":{"markdownRemark":{"id":"be3b7871-e85a-5ace-b65c-7ab56f4f2b87","html":"

AWS Glue の概要

\n

AWS Glue を一言でいうと、ETL のマネージドサービスです。

\n

ETL でデータを取得する先のデータベーススキーマを管理する機能や、ETL のジョブをサーバレスで実行する機能などを持ちます。

\n

全体像

\n

Glue に登場する主な概念は以下のようになります。

\n

\"AWS_Glue\"

\n

2020/7/10 時点で Glue のマネジメントコンソール上のメニューは「データカタログ」と「ETL」の 2 つに分類されています。

\n

Glue の使い方の概要が分かるよう、「データカタログ」と「ETL」のそれぞれについて説明していきます。

\n

データカタログ

\n

まずは「データカタログ」に分類される、データベーススキーマの管理に関する機能です。

\n

データベース・テーブル

\n

\"AWS_Glue-database\"

\n

ETL の入力となるデータベースのスキーマを管理する機能です。

\n

API などを使って手動で登録することもできますし、後述するクローラを使って自動で登録することもできます。

\n

接続

\n

\"AWS_Glue-connection\"

\n

データベースの接続設定 (JDBC の URL やユーザ名・パスワード) です。

\n

Glue の機能でデータベーススキーマを自動取得 (クローリング) したり、ETL 処理を実行する際に使います。

\n

クローラ・分類子

\n

\"AWS_Glue-crawler\"

\n

クローラを使うことで、データベースをクローリングし、スキーマを自動で取得することが可能です。

\n

分類子は、クローラがスキーマを認識する方法の設定みたいなものです。

\n

クローラを使って自動でスキーマを登録することで、スキーマが変わった際に追従するのも楽になります。

\n

後述するトリガーによって定期的にクローリングすることも可能です。

\n

ETL

\n

続いて、「ETL」に分類される、実際の ETL 処理に関する機能です。

\n

ジョブ

\n

\"AWS_Glue-job\"

\n

ETL の処理です。

\n

Glue は Python のスクリプトや Spark などの実行環境を選べるので、その実行環境で実行するコードを指定してジョブを作成します。

\n

トリガー

\n

\"AWS_Glue-trigger\"

\n

クローラやジョブを定期実行したりする際に使うのがトリガーです。

\n

トリガーの発火条件として他のトリガーやジョブを指定することもできます。

\n

ワークフロー

\n

\"AWS_Glue-workflow\"

\n

ワークフローを使うと、トリガーやジョブを複雑に組み合わせた ETL 処理を可視化したりできます。

\n

ML 変換

\n

\"AWS_Glue-ml-transform\"

\n

データの前処理として必要な変換を機械学習で実行する機能です。

\n

開発エンドポイント・ノートブック

\n

\"AWS_Glue-development-endpoint\"

\n

Glue のジョブは実行待ち時間があったりするため、スクリプトを開発するのが結構大変です。

\n

スクリプトの実装を楽するための設定が開発エンドポイントです。

\n

開発エンドポイントにはローカルや VPC に起動した Jupyter などを接続することも可能ですが、Sagemaker のノートブックと連携する機能も用意されています。

\n

開発エンドポイントは料金が結構高いので、作成したまま放置しないようご注意ください。

\n

ローカルに完結したスクリプト実装も可能なようなので、試してみるとよさそうです。

\n

参考

\n\n

おわりに

\n

私が初めて Glue を使おうとしたときは、思っていたより多機能で、どこから着手したものかと思いました。

\n

雰囲気が分かると意外と簡単に使えたりするので、是非さわってみてください。

\n

開発エンドポイントという機能がありはするものの、自動テストなどによるコードの動作保証にはなかなか苦労すると思います。

\n

スクリプトの自動テストや CI / CD は工夫しがいがあって面白いかもしれません。

\n

参考

\n

Web

\n\n

書籍

\n

2020 年 7 月に発売された書籍『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』では、Glue を ETL として利用する典型的な例や、Glue のデータカタログを Athena で利用する例が画面キャプチャ付きで丁寧に解説されてます。\nデータレイクに限らず、データウェアハウスや BI なども含めた AWS でのデータ分析について幅広く学べる非常におすすめの書籍です。

\n

\"\"

","fields":{"slug":"/posts/aws-glue-concepts","tagSlugs":["/tag/aws/","/tag/glue/"],"autoRecommendPosts":["how-to-study-aws-basics","4295010650","aws-saa-c02-books","aws-copilot-v0-1-0"]},"frontmatter":{"date":"2020-07-10T14:57:03.245Z","description":"AWS Glue を一言でいうと、ETL のマネージドサービスです。\nETL でデータを取得する先のデータベーススキーマを管理する機能や、ETL のジョブをサーバレスで実行する機能などを持ちます。\nGlue の使い方が分かるよう、「データカタログ」と「ETL」のそれぞれについて説明していきます。\n","tags":["aws","glue"],"title":"AWS Glue の使い方は？データカタログ？クローラ？ジョブ？","socialImage":null,"recommendPosts":["https://www.kanzennirikaisita.com/posts/how-to-study-aws-basics","https://www.kanzennirikaisita.com/posts/bigdata-books","https://www.kanzennirikaisita.com/posts/aws-alb-concepts","https://www.kanzennirikaisita.com/posts/aws-saa-c02-books","https://www.kanzennirikaisita.com/posts/software-developer-books-index"]}}},"pageContext":{"slug":"/posts/aws-glue-concepts"}},"staticQueryHashes":["251939775","3942705351","401334301"]}