テクノ大福帳

教師付きの機械学習サービスである Google AutoML Tables を使って、クレジットカードの利用明細（CSVファイル）から家計簿の勘定科目を予測してみます。第４回目の本記事では、モデルをエクスポートしてAutoML Tables 以外の環境で予測する方法を見ていきます。 【目次】 ［１］はじめに ［２］エクスポートして予測する基本的な流れ （１）概要 （２）【参考】Google Cloud Runで動かす場合 ［３］モデルのエクスポート （１）エクスポート手順 （２）エクスポートしたモデルのディレクトリ階層 （３）【参考】モデルの保存形式 ［４］ローカル実行環境の準備 （１）Vagrant＋Ubuntu 20.04 LTS 環境の構築 （２）Dockerのインストール ［５］AutoML Tables モデルサーバの準備と起動 （１）Cloud SDK のインストール （２）エクスポートしたモデルのダウンロード （３）AutoML Tables モデルサーバのダウンロード （４）AutoML Tables モデルサーバの起動 （５）【参考】新たにDockerイメージを作成して実行 ［６］予測 （１）基本的な使い方 （２）curl を利用した実行例 ［７］引き続き… ［１］はじめに 本記事は、前回の記事『 Google AutoML Tables の機械学習を使ってカード利用明細から家計簿の勘定科目を予測する（3）予測 』の続き（第４回）です。 AutoML Tables で作成した機械学習モデルを使った予測方法として、大きく以下の２つ AutoML Tables が提供（管理）する実行環境で予測 バッチ予測 オンライン予測 AutoML Tables 以外の環境で予測 機械学習モデルをエクスポートして、外部のDocker環境で予測する があります。 前者の「AutoML Tables が提供（管理）する実行環境で予測」については前の記事で概観しました。この方法は有償サービスではありますが、面倒な環境構築などは不要といったメリットがあります。 これに対して、後者の「AutoML Tables 以外の環境で予測」は、AutoML Tables で作成した機械学習モデルをエクスポートして、AutoML Tables 環境以外でモデルを...

教師付きの機械学習サービスである Google AutoML Tables を使って、クレジットカードの利用明細（CSVファイル）から家計簿の勘定科目を予測してみます。第３回目の本記事では、前回作成した機械学習モデルを使って勘定科目を予測する方法（AutoML Tables が提供する方法）を見ていきます。 【目次】 ［１］はじめに ［２］予測の実行環境 ［３］バッチ予測 （１）概要 （２）入力データ（CSVファイル）の準備 （３）CSVファイルをCloud Storage にアップロード （４）バッチ予測の実行 （５）予測結果のファイル構成 （６）予測ファイルの内容 （７）エラーファイルやエラー終了など ［４］オンライン予測 （１）概要 （２）デプロイして予測 （３）デプロイメントを削除 ［５］引き続き… ［１］はじめに 本記事は、前回の記事『 Google AutoML Tables の機械学習を使ってカード利用明細から家計簿の勘定科目を予測する（2）トレーニング 』の続き（第３回）です。 前回の記事で、勘定科目を予測する機械学習モデルを作成しました。この機械学習モデルを使って、実際のデータで勘定科目を予測する方法を見ていきます。 予測を行うには、ざっくり、 AutoML Tables が提供（管理）する実行環境で予測する モデルをエクスポートしてAutoML Tables 以外の環境で予測する の２つがありますが、本記事では、まず前者の AutoML Tables が提供する実行環境で予測する方法を見ていきます。この方法は有償サービスではありますが、面倒な環境構築などは不要です。 なお、モデルをエクスポートして予測する方法や、その後の試行錯誤に関しては以降の記事で書きます。 第1回 準備 第2回 トレーニング 第3回 AutoML Tables 環境を利用したバッチ予測、オンライン予測 第4回 モデルをエクスポートしてローカルDocker環境で予測 第5回 モデルの評価と改良 ［２］予測の実行環境 前回作成した作成した機械学習モデルは、いわばパラメータの塊のようなデータですので、モデルだけで動作するものではありません。 機械学習モデルを用いて入力データに対して予測を行うためには、入力データを受け付けて、機械...

教師付きの機械学習サービスである Google AutoML Tables を使って、クレジットカードの利用明細（CSVファイル）から家計簿の勘定科目を予測してみます。第２回目の本記事では、前回作成したトレーニングデータを用いて機械学習モデルを作成します。 【目次】 ［１］はじめに ［２］AutoML Tables で機械学習モデルを作るまでの流れ ［３］GCPプロジェクトの準備 ［４］データセットの作成 ［５］データセットにトレーニングデータをインポート （１）トレーニングデータのインポート方法 （２）データセットと連携するCloud Storage バケットの準備 （３）トレーニングデータのインポート （４）インポートに失敗する例など ［６］機械学習モデルの作成（トレーニング） （１）トレーニングの開始方法 （２）データ型とその関連情報 （３）データセットの分割 （４）モデルアーキテクチャ （５）トレーニングエラーの例 ［７］作成した機械学習モデルの評価 ［８］再トレーニング、データの削除など ［９］引き続き… ［１］はじめに 本記事は、前回の記事『 Google AutoML Tables の機械学習を使ってカード利用明細から家計簿の勘定科目を予測する（1）準備 』の続き（第２回）です。 前回の記事で、過去のクレジットカード会社のサイトからダウンロードしたCSVファイルと対応する家計簿の勘定科目から、勘定科目を予測するためのトレーニングデータを作成しました。 本記事では、このトレーニングデータを使って、Google AutoML Tables でトレーニングを行い、勘定科目を予測するための機械学習モデルを作成します。 AutoML Tables の使い方はとても簡単なので操作説明だけならすぐに終わるのですが、関連することを少し書くと長くなりましたので、今回作成するモデルを使った予測やその後の試行錯誤については、以降の記事で書きます。 第1回 準備 第2回 トレーニング 第3回 AutoML Tables 環境を利用したバッチ予測、オンライン予測 第4回 モデルをエクスポートしてローカルDocker環境で予測 第5回 モデルの評価と改良 ［２］AutoML Tables で機械学習モデルを作るまでの流れ Google...

 本記事では、gsutilとgcsfuseを利用したColaboratory環境とGoogle Cloud Storage（GCS）との連携について見ていきます。 【目次】 ［１］概要 （１）Vision APIに関連するGCSの利用シナリオ例 （２）GCSとの連携方法 （３）利用料金について ［２］gsutil （１）Google Cloud Storage URI （２）一般公開データのダウンロード例 （３）認証 （４）プロジェクトの設定（オプション） （５）URIとワイルドカード （６）gsutil ls：バケットやオブジェクトの情報表示 （７）gsutil cp：ファイルやフォルダのコピー ［３］Cloud Storage FUSE（gcsfuse） （１）インストール （２）認証 （３）マウントして利用する （４）マウントの解除 （５）他ツールとの共存：ディレクトリの扱いなどの問題 ［１］概要 Google Cloud Storageは、公式ドキュメント（ https://cloud.google.com/storage/docs?hl=ja ）で以下のように説明されています。 Cloud Storage は、Google Cloud でオブジェクトを保存するためのサービスです。 オブジェクトとは、任意の形式のファイルで構成される不変のデータのことです。オブジェクトをバケットと呼ばれるコンテナに保存します。すべてのバケットがプロジェクトに関連付けられ、組織のプロジェクトをグループ化できます。 これは技術的側面からの説明ですが、大雑把に言えば、Google Cloud Platform（GCP）が提供するデータ保管サービスの一つです。利用方法によっては、OSのファイルのように扱うこともできます。 本記事では、Google Cloud Storageについての説明は行いませんが、記事『 Colaboratory＋GoogleドライブでVision APIの実験環境を作る 』の流れから、Colaboratory環境からGoogle Cloud Storageを利用する方法を見ていきます。また、利用例などはVision APIの利用に関するものを中心としています。 以下は、Google Cloud StorageをGCSと略して書きます。 ...