MLFlow を少しさわってみようと思い、特に気になった TrackingAPI をさわってみつつ、データがどう保存されるのかを覗いてみました。
\nMLFlow 自体は pip install mlflow で簡単に導入できます。
公式ドキュメントの Quickstart に書かれている以下の内容のファイルを作成します。
\n\n\n\nimport os\nfrom random import random, randint\nfrom mlflow import log_metric, log_param, log_artifacts\n\nif __name__ == \"__main__\":\n # Log a parameter (key-value pair)\n log_param(\"param1\", randint(0, 100))\n\n # Log a metric; metrics can be updated throughout the run\n log_metric(\"foo\", random())\n log_metric(\"foo\", random() + 1)\n log_metric(\"foo\", random() + 2)\n\n # Log an artifact (output file)\n if not os.path.exists(\"outputs\"):\n os.makedirs(\"outputs\")\n with open(\"outputs/test.txt\", \"w\") as f:\n f.write(\"hello world!\")\n log_artifacts(\"outputs\")
python コマンドで実行します。
\n$ python mlflow_tracking.py上記のサンプルコードが実行され、log_metric、log_param、log_artifacts で指定した内容が保存されました。
保存された内容は、mlflow ui コマンドで起動した Web UI で可視化できます。
デフォルトでは ./mlruns ディレクトリ以下にデータが出力されるようなので、それを見ていきます。
\nまず、tree コマンドで、出力されたファイルの一覧を見てみます。
\n$ tree\n.\n├── mlflow_tracking.py\n├── mlruns\n│ └── 0\n│ ├── d0b221068a7147afb0177cd3fb9fb5cf\n│ │ ├── artifacts\n│ │ │ └── test.txt\n│ │ ├── meta.yaml\n│ │ ├── metrics\n│ │ │ └── foo\n│ │ ├── params\n│ │ │ └── param1\n│ │ └── tags\n│ │ ├── mlflow.source.name\n│ │ ├── mlflow.source.type\n│ │ └── mlflow.user\n│ └── meta.yaml\n└── outputs\n └── test.txt\n\n8 directories, 10 filesそれでは、各ファイルについて見ていきます。
\nartifact_location: file:///home/oshima/mlflow_tracking/mlruns/0\nexperiment_id: '0'\nlifecycle_stage: active\nname: Default「0」という experiment に対するメタデータのようです。
\nartifact_uri: file:///home/oshima/mlflow_tracking/mlruns/0/d0b221068a7147afb0177cd3fb9fb5cf/artifacts\nend_time: 1629894186654\nentry_point_name: ''\nexperiment_id: '0'\nlifecycle_stage: active\nname: ''\nrun_id: d0b221068a7147afb0177cd3fb9fb5cf\nrun_uuid: d0b221068a7147afb0177cd3fb9fb5cf\nsource_name: ''\nsource_type: 4\nsource_version: ''\nstart_time: 1629894186647\nstatus: 3\ntags: []\nuser_id: oshima「d0b221068a7147afb0177cd3fb9fb5cf」という run に対するメタデータのようです。
\n$ cat test.txt\nhello world!artifacts ディレクトリ以下には、log_artifact で指定したファイルが出力されるようです。
\n1629894186651 0.10226160404903561 0\n1629894186652 1.4250551980391988 0\n1629894186652 2.904784967403418 0log_metric で指定したログが、UNIX 時間とともに記録されています。
\n16log_param で指定した値です。
\nmlflow_tracking.pyLOCALoshimatags 以下は、実行されたファイルや実行環境についての記録のようです。
\n以上、MLFlow の TrackingAPI で出力されるデータを覗いてみました。
\nここまでさわってみて、MLFlow の TrackingAPI は、非常に簡単に導入できる素晴らしいツールだなと思いました。
\nパラメータなどを記録したいというユースケースは非常によくあることで、そういった際に、独自実装せずに MLFlow というライブラリで解決できるのは、とても便利だと思います。
\nAutomatic Logging を使うことで、対応するライブラリのパラメータは自動的に保存されるとのことで、これもとても便利そうです。
\nドキュメント を見たところ、データの保存先としては RDB やオブジェクトストレージなどを組み合わせて使えるようです。
\nチームで利用する際は、RDS などの DBaaS と S3 などを組み合わせて使うことになるのだと思います。
\nとはいえ、まずは今回試したように、ローカルのファイルに出力するところからでも気軽に使い始められそうです。
","fields":{"slug":"/posts/mlflow-trackingapi-quickstart","tagSlugs":["/tag/mlops/"],"autoRecommendPosts":["what-is-executing-a-command-on-bash","best-way-to-setup-docker-volume","cicd-conference-2021","linux-kernel-build-install"]},"frontmatter":{"date":"2021-08-25T12:55:21.713Z","description":"MLFlow を少しさわってみようと思い、特に気になった TrackingAPI をさわってみつつ、データがどう保存されるのかを覗いてみました。","tags":["mlops"],"title":"MLFlow の TrackingAPI を Quickstart して保存されたデータを覗いてみる","socialImage":null,"recommendPosts":["https://www.kanzennirikaisita.com/posts/software-developer-books-index"]}}},"pageContext":{"slug":"/posts/mlflow-trackingapi-quickstart"}},"staticQueryHashes":["251939775","3942705351","401334301"]}