Python でグラフデータベース（AuraDB, Docker版Neo4j）を使ってみる

-
本記事では Neo4j、AuraDB を試す環境を準備して Python の簡単なプログラムを動かしてみます。

【目次】

［１］はじめに

前の記事『プロパティグラフ（Neo4j / AuraDB他）の概要を知る：グラフデータベース』で、プロパティグラフをモデルとするグラフデータベースの本を紹介しました。

本記事では実際に Neo4j、AuraDB を試す環境を作って、簡単なプログラムを動かしてみます。

今回は環境構築作業の負担が極力無い方法として AuraDB と Docker 版 Neo4j を取り上げます。

AuraDB は 登録すれば無料で使える Neo4j のクラウドホスティングです。例えば Google Colaboratory でプログラムを書いて AuraDB を使うことができます。

一方、Neo4j の Docker イメージも提供されていますので、ローカル環境で動作させることもできます。

AuraDB も Docker 版 Neo4j も接続設定を変えるだけで同じプログラムが動きます（動くはず）ので、例えば、ローカル環境でテストして本番にAuraDBを利用することもできます。

AuraDB と Neo4j は基本的には汎用データベースエンジンですが、可視化ツールなど面白そうなツールも組み込まれていて、使ってみると楽しいです。

［２］AuraDB を無料で使ってみる

実際の Neo4j データベースに触れる最も手軽な方法は AuraDB を使う事だと思います。

AuraDB は Neo4j のフルマネージドなクラウドサービスでいくつかプランがあります。

本記事では無料で利用できる AuraDB Free を利用します。

AuraDB Free はユーザ登録は必要ですが、クレジットカード番号の入力などはありませんので、気軽に始めることができます。

利用は上記サイトの「Start Free」ボタンをクリックし、 Google アカウントかユーザ登録して利用します。

AuraDB の登録手続きは画面の案内に従って進めるだけですので割愛しますが、この手続きの中でデータベースにアクセスするためのクレデンシャル情報（ユーザ、パスワードなど）が表示されます。

この情報を失うとアクセスできなくなりますので、ファイルとしてダウンロードするなど、記録しておく必要があります。

（参考）
手続きを進める中で AuraDS というのも出てきます。名前が少々紛らわしいのですが、こちらはグラフデータサイエンス向けとのことで価格体系も少し違うようです。

さて、手続きが終わるとデータベースのインスタンスが作成されて以下のような画面が表示されます。

AuraDB インスタンス画面



Query ボタンをクリックすると、Neo4j Browser User Interface が起動してデータベースを操作できます。（ユーザとパスワードの認証があります。）

Neo4j ブラウザは、いわばコマンドラインツールの Web 版のような感じで、コマンドや Cpyher を入力して実行すると、結果をグラフや表などの形で表示してくれます。

以下はサンプルの Movie データを挿入して全ノード（とリレーション）をクエリした結果の画面です。（左側のアイコンをクリックすると表示形式を変更できます。）

AuraDB Neo4j Browser User Interface



これとは別に、インスタンス画面の Explore ボタンをクリックするとNeo4j Bloom というツールも使えます。

こちらは Cypher などのコマンドを入力することなく、UI 操作だけでデータベース内のデータを可視化したり探索するようなツールという位置付けかと思います。

以下は上記と同じデータの状態で Bloom を起動したときの画面です。

AuraDB Bloom


さらに、Explore、Query ボタンの下に Import ボタンがあります。

こちらを利用すると自前で用意しているデータ（CSVファイル他）からウィザード形式でインポートできます。

プログラムを作成して AuraDB にアクセスしてみたいという方は、ホーム画面左側にあるConnect メニューにあるプログラミング言語ごとの項目をクリックします。

するとデータベースにアクセスするサンプルコードを見ることができます。

本記事ではプログラムからの利用例として、Python を利用して Google Colaboratory 環境から AuraDB へアクセスしてみます。

［３］ローカル環境の Docker で Neo4j を使ってみる

プログラム開発に AuraDB や Neo4j を利用することを考えると、例えば、プログラムのテストを行うときなど、ローカル環境にデータベースを構築しておくと便利なことが多いと思います。

Neo4j のインストール方法はいくつかありますが、ありがたいことに、Neo4j の Docker イメージが提供されていますので、本記事ではこれを利用します。

無料で、とてもお手軽に利用できます。

いろいろな起動方法がありますが、ここでは２つほど利用例をメモしておきます。
（詳細は上記 Neo4j のドキュメントや Docker のマニュアルを参照して下さい。）

（１）使い捨て的な利用例

この方法はデータをディスクに永続化しない起動方法で、コンテナを停止するとデータも消えます。

これはちょっと試すだけ、という使い方もありますが、私はプログラムの回帰テストに便利なのでよく利用する使い方です。

docker run \
    --publish=7474:7474 --publish=7687:7687 \
    --env NEO4J_AUTH=neo4j/your_password \
    --rm \
    neo4j

シェルから上記コマンドを実行すると以下のように動作します。
  • 最新版の neo4j の Docker イメージをダウンロードして起動します。
  • ポート 7474 は HTTP でブラウザからアクセス、7687 は Neo4j API の neo4j や bolt アクセスで利用します。
  • データベース認証のユーザを neo4j、パスワードを your_passowrd で起動します。
  • データの永続化は行いませんので、コンテナ終了時にコンテナとデータベースのデータも破棄されます。
    • CTRL-Cで終了できます。

コンテナ起動後、ブラウザから http://localhost:7474/ へアクセスすると、Neo4j Browser User Interface （AuraDB と同様）が表示されます。

これを使って Cypher 等のコマンドを実行できます。

なお、認証画面では docker run の NEO4J_AUTH で指定したユーザ名とパスワードを入力してログインします。

（２）データを永続化して利用する

先の方法だとコンテナを停止するとデータが消えてしまいますが、当然ディスクにデータを保存しながら動作させることもできます（通常のデータベースとしての利用です）。

このあたりになると利用目的に応じて様々なバリエーションが考えられるので、ここではマニュアルに記載されている起動方法をメモしておきます。

docker run \
    --restart always \
    --publish=7474:7474 --publish=7687:7687 \
    --env NEO4J_AUTH=neo4j/your_password \
    --volume=/path/to/your/data:/data \
    --volume=/path/to/your/logs:/logs \
    neo4j:5.2.0

ここではイメージのバージョン（例では 5.2.0）を明示的に指定し、volume オプションを指定してローカルディスクのパスをマッピングしています。また、docker の restart オプションも指定しています。

ブラウザから http://localhost:7474/ へアクセスすれば、Neo4j Browser User Interface も利用できます。

その他いろいろな設定方法が上記 Neo4j Docker のドキュメントに書かれていますので参考にしてください。

［４］アプリ（Python）から AuraDB / Neo4j にアクセスしてみる

ここでは AuraDB あるいはローカルの Neo4j にアプリからアクセスできることを超簡単な例を通してみてみます。

アプリから Neo4j / AuraDB にアクセスする場合は、プログラミング言語毎に用意されているドライバライブラリを利用します。

本記事では Python を利用した例としましたので、例えば Colaboratory から AuraDB へアクセスする場合も、ローカル環境の Docker コンテナへのアクセスも、接続情報を変更するだけで同じコードが動くと思います。

（１）サンプルデータ

サンプルとして「TechnoDaifukucho というブログの著者は Techno Daifuku という人です」という情報をプロパティグラフで表現してみます。

具体的には以下のように構成します。
  • Blog ラベルを持つ、ブログを表すノードを作ります。
    • title プロパティに「TechnoDaifukucho」という値を設定します。
  • Person ラベルを持つ、人を表すノードを作ります。
    • name プロパティに「Techno Daifuku」という値を設定します。
  • Blog ノードから Person ノードへ AUTHOR というタイプのリレーションを設定します。

このように書くと何だか意味不明なので図にしてみます。丸がノードで、矢印がリレーションを表します。



（参考）
上記の図は Neo4j のサイトにあるグラフを描くWebツールを利用して作成しました。なかなか面白いツールです。

さて、以下は上記のプロパティグラフを作る Cypher クエリの例です。

MERGE (b:Blog {title: 'TechnoDaifukucho'})
MERGE (p:Person {name: 'Techno Daifuku'})
MERGE (b)-[:AUTHOR]->(p)

なお、本来は一意性制約やトランザクション、さらにラベルやタイプなどのオントロジー的な側面も検討すべきと思いますが、簡単なサンプルという事で今回は割愛します。

（２）Python で Cypher クエリを実行してみる

上記の Cypher クエリは Neo4j Browser User Interface からも実行できますが、ここでは Python を例にプログラムから実行してみます。

まず、Neo4j データベースに接続するためのドライバをインストールします（AuraDB と Neo4j 共通です）。

pip install neo4j-driver

（参考）
もしインストールに失敗する場合、環境によっては「pip install wheel」を予め実行してからインストールすると成功する場合があります。

以下はクエリを実行する Python のコードです。

from neo4j import GraphDatabase

# 接続設定
uri = "接続文字列"
username = "ユーザ名"
password = "パスワード"

# データベースサーバへ接続
driver = GraphDatabase.driver(uri, auth=(username, password))
# 接続確認
driver.verify_connectivity()

# 実行するクエリ文字列
query = """
MERGE (b:Blog {title: 'TechnoDaifukucho'})
MERGE (p:Person {name: 'Techno Daifuku'})
MERGE (b)-[:AUTHOR]->(p)
"""

# クエリを実行
with driver.session() as session:
    session.run( query)

# 接続を閉じる
driver.close()

ここで、接続設定（uri、username、password の変数）は以下のように設定します。
  • AuraDB の場合
    • credentials～.env ファイルをダウンロードした場合
      • uri = NEO4J_URI（neo4j+s://で始まるURI）の値
      • username = NEO4J_USERNAME の値
      • password = NEO4J_PASSWORD の値
    • ユーザ名とパスワードは AuraDB にログインする値と同じです。
    • uri はログイン画面のインスタンス画面に Connection URI として表示されています。
  • Docker 版 Neo4j の場合
    • uri = neo4j://localhost:7687
      • 7687 は docker run で指定したポートです。
      • bolt://localhost:7687 でも接続できます。
    • username、password は docker run で指定した値を設定します。

接続文字列や認証など、ドライバーの詳細については以下を参照して下さい。


プログラムを実行した後、ちゃんと登録されたかどうか確認するために、Neo4j Browser User Interface を開いて以下のクエリを実行してみます。

MATCH (b:Blog) - [r:AUTHOR]  -> (p:Person) RETURN b, r, p

すると以下のように表示されます。（以下は Docker 版で実行した例です。）

Blog サンプルのクエリ例


なお、全てのノードとそのノード間のリレーションが表示したいときは以下のクエリを実行します（上記の他にデータが無ければ同じ結果になると思います。）

MATCH (n) RETURN n

コメント

コメントを投稿

このブログの人気の投稿

VirtualBoxのスナップショット機能

-
イメージ
本記事では、VirtualBoxのスナップショットがもつ情報と使い方について見ていきます。   【目次】 ［１］はじめに ［２］スナップショットの保存内容 ［３］VirtualBox マネージャのスナップショット画面 ［４］スナップショットの作成 ［５］スナップショットのプロパティの表示と編集 ［６］スナップショットの復元 ［７］「最新の状態」とスナップショットの履歴 ［８］スナップショットの削除 ［９］エクスポート/インポートの注意事項 ［１］はじめに 仮想マシンを利用するの利点の一つは、ある時点の仮想マシンの状態を保存し（スナップショットを作成）、後に、保存した状態を容易に復元することができることかと思います。 例えば、開発環境のある状態を保存しておき、ライブラリのバージョンアップを実行してみて、その結果が悪ければバージョンアップ前の状態に戻す、ということが簡単にできます。 スナップショットは、実行中の仮想マシンの状態（メモリ等の状態）も保存できますので、エディタで編集中の状態まで保存、復元できたりします。（少し言い過ぎですが、ワープロ編集中にでUndoやRedoを利用するのと同じような感覚でしょうか。） また、スナップショットのデータは、仮想マシンと統合管理されているため、保存、復元操作が非常に簡単です。 （一方で、スナップショットは、一般に言うバックアップとは少し目的が異なるため、バックアップの代替えになるとは限らない点に注意が必要です。） 本記事ではVirtualBoxのスナップショットについて見ていきます。 （参考） Vagrantをお使いの場合は、記事『 Vagrantのスナップショット機能とVirtualBox 』も参考にして下さい。 ［２］スナップショットの保存内容 VirtualBoxのスナップショットについては、ユーザマニュアルに記載があります。 User Manual 1.10. Snapshots（ https://www.virtualbox.org/manual/ch01.html#snapshots ） 詳しくは上記ドキュメントをご参照頂くとして、スナップショットは仮想マシンの構成、ディスクとメモリの内容を保存しています。 ハードウェア構成を含む仮想マシン設定の完全なコピーを持っています。 これにより、例えば、...
続きを読む

Vision API OCR事始め(1)：TEXT_DETECTIONとDOCUMENT_TEXT_DETECTIONの違い

-
イメージ
これまでの記事で、Google Vision APIの使い方の側面（特にPython）について見てきましたが、平行して、今回からOCR（光学文字認識）の機能面についても見ていきたいと思います。まずは、OCRにあたる２つの機能（特徴タイプ）であるTEXT_DETECTIONとDOCUMENT_TEXT_DETECTIONの違いについて見ていきます。 【目次】 ［１］はじめに ［２］Vision APIが提供する２つのOCR機能 ［３］「～向けに最適化されます」とは？ ［４］簡単な実験での違いの例 （１）スパースと思われる画像の例 （２）高密度と思われる画像の例 （３）少し難しい漢字の例（文字の大きさによる違い） （４）手書き文書の例 （５）TEXT_DETECTIONとDOCUMENT_TEXT_DETECTIONの二つを同時に指定した場合の例 ［５］実験から受ける印象 ［６］最後に ［１］はじめに Google Vision APIのOCRは評判が良く、私もデモを見て凄いなと思いました。昔、仕事でOCRをちょっとだけ使ったことがありますが、その頃を思うと、隔世の感があります。 そこで実際に使ってみようと思って、ドキュメント（ガイド）を読んだり、サンプルを試してみたりしました。それはなんとなく理解できるのですが、現実の問題に適用しようとすると、ある画像形式に対してどのような機能を使い、どのように結果を解釈するのが良いのか、など、もう少し自分なりに頭の整理が必要だと感じました。 というわけで、Googleが公開している資料や実験を通して、私なりに理解したことを共有していきたいと思います。 ただし、私はOCRや画像処理 、機械学習 の専門家ではありませんので、誤った理解もあるかもしれません。また、資料や実験結果は、記事を書いている時点のものであり、モデルのバージョンアップやサービス内容の変更によって、結果が異なる可能性があることをご了承ください。 ［２］Vision APIが提供する２つのOCR機能 Vision APIでは、OCR機能として、「テキスト検出」と「ドキュメント テキスト検出（高密度テキスト / 手書き）」の２つを提供しています。 これらは、機能リスト（ https://cloud.google.com/vision/docs/featu...
続きを読む

Ubuntu/Colab環境でPDFファイルのページを画像化する（pdf2image、pdftoppm、pdftocairo）

-
本記事では、UbuntuやGoogle Colaboratory環境で、オープンソースライブラリのPoppler（poppler-utilsに含まれるpdftoppm、pdftocairo）あるいはPythonライブラリのpdf2imageを利用して、PDFファイルのページをJPEGなどの画像ファイルに変換する方法を見ていきます。 【目次】 ［１］PDFファイルを画像に変換したいとき？ ［２］PDFファイル扱うオープンソースライブラリ （参考）ページの画像化と情報抽出について ［３］コマンドラインからの利用：poppler-utils （１）poppler-utils （２）インストール （３）pdftoppmの利用例 （４）pdftocairoの利用例 ［４］Pythonからの利用：pdf2image （１）pdf2image （２）インストール （３）最も簡単な使い方 （４）メモリを節約する方法（output_folderを利用する方法） （５）メモリを節約する方法（fmtを利用する方法） （６）サムネイルの作成サンプル （７）ページを指定して変換する方法（first_page, last_page） （８）大量ページの変換速度を上げる方法（thread_count） （９）解像度（dpi） （１０）pdftocairo/pdftoppmの画像変換結果を直接利用する（use_pdftocairo） （参考）pdfinfo_from_path関数 ［１］PDFファイルを画像に変換したいとき？ PDF（Portable Document Format）ファイルは広く使われている電子文書です。 PDFファイルは、ブラウザでも表示できますし、無料のAdobe Acrobat Readerをインストールして表示することもできます。 しかし、こういったツールでファイル内容を表示するだけではなく、PDFファイル内のページをJPEGなどの画像ファイルに変換して利用したい場合もあります。 例えば、システム開発において、Webサイトやアプリ内で、PDFファイルの概要をサムネイル表示したいとか、PDFファイルをダウンロードさせたり、ブラウザの別タブでPDFファイルを表示するのではなく、（導線が途切れないように）ページを移動することなく内容を見てもらいたい場合など、いろいろ...
続きを読む