技術記事リスト

【目次】

業務システムとAI技術


画像認識、テキスト抽出（OCR）

Google Vision API

OCR

Google Document AI


自然言語処理


機械学習


ナレッジグラフ、Ontology、Semantic Web、グラフデータベースなど


Firebase

Google Cloud Platform（GCP）


セキュリティ、PKIなど


RPA、ウェブスクレイピング


データ変換

HEIC＝＞JPEG/PNGなど
JPEG/PNGなど＝＞PDF
PDF=>JPEG/PNGなど

開発環境の構築

VagrantとVirtualBox

Vagrant上での環境構築


その他


コメント

コメントを投稿

このブログの人気の投稿

VirtualBoxのスナップショット機能

イメージ
本記事では、VirtualBoxのスナップショットがもつ情報と使い方について見ていきます。   【目次】 ［１］はじめに ［２］スナップショットの保存内容 ［３］VirtualBox マネージャのスナップショット画面 ［４］スナップショットの作成 ［５］スナップショットのプロパティの表示と編集 ［６］スナップショットの復元 ［７］「最新の状態」とスナップショットの履歴 ［８］スナップショットの削除 ［９］エクスポート/インポートの注意事項 ［１］はじめに 仮想マシンを利用するの利点の一つは、ある時点の仮想マシンの状態を保存し（スナップショットを作成）、後に、保存した状態を容易に復元することができることかと思います。 例えば、開発環境のある状態を保存しておき、ライブラリのバージョンアップを実行してみて、その結果が悪ければバージョンアップ前の状態に戻す、ということが簡単にできます。 スナップショットは、実行中の仮想マシンの状態（メモリ等の状態）も保存できますので、エディタで編集中の状態まで保存、復元できたりします。（少し言い過ぎですが、ワープロ編集中にでUndoやRedoを利用するのと同じような感覚でしょうか。） また、スナップショットのデータは、仮想マシンと統合管理されているため、保存、復元操作が非常に簡単です。 （一方で、スナップショットは、一般に言うバックアップとは少し目的が異なるため、バックアップの代替えになるとは限らない点に注意が必要です。） 本記事ではVirtualBoxのスナップショットについて見ていきます。 （参考） Vagrantをお使いの場合は、記事『 Vagrantのスナップショット機能とVirtualBox 』も参考にして下さい。 ［２］スナップショットの保存内容 VirtualBoxのスナップショットについては、ユーザマニュアルに記載があります。 User Manual 1.10. Snapshots（ https://www.virtualbox.org/manual/ch01.html#snapshots ） 詳しくは上記ドキュメントをご参照頂くとして、スナップショットは仮想マシンの構成、ディスクとメモリの内容を保存しています。 ハードウェア構成を含む仮想マシン設定の完全なコピーを持っています。 これにより、例えば、...
続きを読む

Git2PROV を例に W3C PROV オントロジー表現の基本を知る

イメージ
本記事では、W3Cが勧告している PROV オントロジーの表現方法を Git2PROV ツールを例にみていきます。 【目次】 ［１］はじめに ［２］PROV とは （１）PROVの基本概念 （２）簡単な補足 （３）PROV のシリアライズ形式 （４）PROV グラフの可視化について （５）拡張仕様について ［３］Git のコミット履歴を PROV で表現する （１）Git2PROV （２）ファイルのバージョン１をコミットしたとき （３）ファイルのバージョン２をコミットしたとき （４）より詳細な Git のモデルや応用など ［４］Git2PROVを実際に動かしてみる （１）インストール （２）ローカルサーバで実行 （３）コマンドラインから実行 ［１］はじめに ネットで様々な情報が簡単かつ大量に得られるようになりました。 それはそれで良いのですが、同時に得られた情報が信用できる情報かどうかの判断も難しくなってきました。 昨今の生成系 AI などの事情を考えると、この傾向はますます進むような気がしますが、そもそも今まで何を根拠に「信頼」とか「信用」していたのか？と考えていくと、意外に根拠が薄そうな気がして、少々不安になります（笑）。 それはともかく、信用できる情報かどうかの判断基準として、データの来歴あるいは起源をみることは多いと思います。 W3C は、このような来歴あるいは起源を記述するための仕様である PROV を2013年に勧告しています。 PROV-Overview An Overview of the PROV Family of Documents https://www.w3.org/TR/prov-overview/ 崇高な概念をここで語ることはできませんが、来歴や起源をたどれるデータの表現方法は、一般のアプリ作成においても役立つことが多いと思いますので、本記事では、この PROV による情報の来歴あるいは起源に関する表現をみてみます。 ところで PROV 仕様をざっと概観するには、（英語ですが）以下のドキュメントが最適だと思います。 PROV Model Primer https://www.w3.org/TR/prov-primer/ 一方、本記事では開発者にとって身近な Git のコミット情報を PRO...
続きを読む

Vision API OCR事始め(1)：TEXT_DETECTIONとDOCUMENT_TEXT_DETECTIONの違い

イメージ
これまでの記事で、Google Vision APIの使い方の側面（特にPython）について見てきましたが、平行して、今回からOCR（光学文字認識）の機能面についても見ていきたいと思います。まずは、OCRにあたる２つの機能（特徴タイプ）であるTEXT_DETECTIONとDOCUMENT_TEXT_DETECTIONの違いについて見ていきます。 【目次】 ［１］はじめに ［２］Vision APIが提供する２つのOCR機能 ［３］「～向けに最適化されます」とは？ ［４］簡単な実験での違いの例 （１）スパースと思われる画像の例 （２）高密度と思われる画像の例 （３）少し難しい漢字の例（文字の大きさによる違い） （４）手書き文書の例 （５）TEXT_DETECTIONとDOCUMENT_TEXT_DETECTIONの二つを同時に指定した場合の例 ［５］実験から受ける印象 ［６］最後に ［１］はじめに Google Vision APIのOCRは評判が良く、私もデモを見て凄いなと思いました。昔、仕事でOCRをちょっとだけ使ったことがありますが、その頃を思うと、隔世の感があります。 そこで実際に使ってみようと思って、ドキュメント（ガイド）を読んだり、サンプルを試してみたりしました。それはなんとなく理解できるのですが、現実の問題に適用しようとすると、ある画像形式に対してどのような機能を使い、どのように結果を解釈するのが良いのか、など、もう少し自分なりに頭の整理が必要だと感じました。 というわけで、Googleが公開している資料や実験を通して、私なりに理解したことを共有していきたいと思います。 ただし、私はOCRや画像処理 、機械学習 の専門家ではありませんので、誤った理解もあるかもしれません。また、資料や実験結果は、記事を書いている時点のものであり、モデルのバージョンアップやサービス内容の変更によって、結果が異なる可能性があることをご了承ください。 ［２］Vision APIが提供する２つのOCR機能 Vision APIでは、OCR機能として、「テキスト検出」と「ドキュメント テキスト検出（高密度テキスト / 手書き）」の２つを提供しています。 これらは、機能リスト（ https://cloud.google.com/vision/docs/featu...
続きを読む