Colaboratory環境で拡張子が.HEICの画像ファイルを扱う(libheif,pyheif)

-
本記事では、iPhoneで撮影した画像など、拡張子が.HEICになっている画像ファイルをGoogle Colaboratory内で直接扱う方法を考えてみました。

【目次】

［１］拡張子が.HEICの画像ファイルとは？

拡張子が.HEICとなっているファイルは、HEIFという新しい標準規格の画像ファイルです。（HEIF仕様のファイル拡張子は、.heifあるいは.heicです。また、HEIFはヒーフと読むみたいです。）

iOS 11以降のiPhoneなどで新しく撮影した写真は、HEIFに対応して拡張子が、.HEICとして保存されます。（但し、設定によりHEIFではなくJPEGで保存することも可能です。）

HEIFは、JPEGに比べて高画質なままファイルサイズを小さくできる、などのメリットがあります。

iPhoneなどを使っていると、HEICという拡張子を目にする機会は少ないと思いますが、GoogleフォトやGoogleドライブ、そしてWindowsなどに画像ファイルを転送すると、その画像ファイルの拡張子が.HEICになっていることを確認できます。

Windows 10もHEIFに対応しており、HEICファイルをダブルクリックすると、フォトが起動して画像を表示します。

また、ペイントでHEICファイルを読み込んで、PNG画像またはJPEG画像として名前を付けて保存すると、PNGやJPG形式のファイルに変換することが出来ます。この変換したPNGやJPEGファイルのサイズがHEICファイルに比べて大きくなることから、HEIFの圧縮効率が良いことがうかがえます。

［２］JPEGファイルなどに変換が必要な理由

HEICファイルにはメリットもありますが、比較的新しい画像フォーマットということもあり、何らかの処理を行おうとすると不便なこともあります。

例えば、PillowやOpenCV等の画像処理ライブラリを利用したい場合、現在のところHEICファイルを直接読み込むことができません。このため、ライブラリが認識できる画像形式にあらかじめ変換して利用する必要があります。

また、『Google Vision APIの画像認識（特にOCR）を業務システム開発の立場から検討してみる』からの流れで、Vision APIを試してみようとしても、残念ながら、現在のところVision APIはHEIC形式をサポートしていないため、JPEGやPNG形式などに変換してから利用する必要があります。

HEICファイルをJPEGファイルなどに変換する方法はネットで検索すると様々な情報が得られますが、ここでは、『Colaboratory＋GoogleドライブでVision APIの実験環境を作る』の流れから、Colaboratoryの環境内で直接HEICファイルを扱う方法を考えてみました。

以降は、
  • シェルコマンドでJPEGまたはPNGに変換する方法
  • Python言語でHEICファイルを扱う方法
について具体的に説明していきます。

なお、上記二つの方法は、組み合わせて利用することもできます。

（補足）

下記サンプルは、Googleドライブをマウントして、Googleドライブにある画像を処理する例となっています。Googleドライブのマウントについては、『Colaboratory＋GoogleドライブでVision APIの実験環境を作る／Googleドライブのマウント』を参照してください。
Colaboratoryのディスクで処理する場合はGoogleドライブのマウントは不要です。

［３］シェルコマンドでJPEGまたはPNGに変換する方法

（１）libheif

libheifはオープンソースで提供されている、HEIFとAVIFファイル形式のデコーダ、エンコーダライブラリです。

libheifをColaboratoryから直接利用して画像変換することはできませんが、大変ありがたいことに、libheifを使ってHEICファイルをJPEGまたはPNGファイルに変換するユーティリティプログラム（heif-converter）が提供されています。
heif-converterは、OSレベルでlibheif-examplesパッケージをインストールすることで、シェルコマンドから利用することが出来ます。

（２）libheif-examplesのインストール

Colaboratoryはaptコマンドが利用できますので、以下のセルを実行することで、libheif-examplesをインストールすることが出来ます。
!apt install libheif-examples

（補足）
インストールされるライブラリのバージョンは、1.1.0-2になると思います。Colaboratoryから、!cat /etc/lsb-release コマンドでOSのバージョンを調べると、"Ubuntu 18.04.3 LTS"と表示されましたので、インストールされたパッケージは、（https://packages.ubuntu.com/bionic/video/libheif-examples）に該当すると思います。
なお、このバージョンはGitHubで公開されているものに比べると少し古く、最新版ではユーティリティプログラムが追加されていますが、JPEGやPNG形式に変換するだけなら上記手順でインストールして利用するのが便利です。

（３）heif-convertを使ってJPEGまたはPNGに変換

HEICファイルをJPEGまたはPNGファイルに変換するには、シェルコマンドでheif-convertを利用します。

使い方は簡単で、元のHEICファイルパスと出力したいJPEGまたはPNGファイルパスを指定するだけです。
例えば、Googleドライブの直下にあるsample.HEICをJPEGファイルに変換したい場合は、出力ファイル名の拡張子をjpgにして実行します。
!heif-convert '/content/drive/My Drive/sample.HEIC' '/content/drive/My Drive/sample.jpg'

同様に、PNGファイルに変換したい場合は、出力ファイル名の拡張子をpngにして実行します。
!heif-convert '/content/drive/My Drive/sample.HEIC' '/content/drive/My Drive/sample.png'

（補足１）

ファイルを指定せずheif-convertを実行すると利用方法が表示されます。
!heif-convert
 
USAGE: heif-convert [-q quality] <filename> <output>

ここで、-q はJPEGの品質設定で、0から100の値を設定します。値が大きいほうが品質が良くなりますが、逆にファイルサイズも大きくなります。
（現在のGitHubのソースを見ると、-qを省略した場合の値は90のようです。）

品質設定を変更して画質やファイルサイズを調整したい場合は（例えば、品質設定に80を指定する場合は、）以下のように実行します。
!heif-convert -q 80  '/content/drive/My Drive/sample.HEIC' '/content/drive/My Drive/sample.jpg'

（補足２）

heif-examplesには、heif-infoという、HEICファイルの情報を表示するプログラムも含まれています。以下のように利用します。
!heif-info  '/content/drive/My Drive/sample.HEIC'

［４］Python言語でHEICファイルを扱う方法

（１）pyheif

pyheifは、libheifライブラリへのPythonインターフェイスライブラリです。

heif-convertのようなシェルコマンドは提供されていませんが、Python言語からHEICファイルを読み込んで、Pillowなどのライブラリに画像データを渡すことが出来るため、JPEGやPNGファイルなどへの形式変換だけでなく、様々な画像処理を行うことができるため、応用範囲は広いです。

なお、libheif-examplesとpyheifの両方をインストールして個別に利用することも可能です。

（２）pyheifのインストール

インストールは簡単で、以下のセルを実行するだけです。
!pip install pyheif

（３）pyheifの利用例：JPEGまたはPNGに変換

現在のところpyheifは読込しか対応していませんが、読み込んだ画像データをPillow等の画像処理ライブラリに渡すことで、様々な処理を行うことができます。

何の工夫もないサンプルで恐縮ですが、pyheifのサイトにあるサンプルを使って、heic-convertのように、HEICファイルをJPEGまたはPNGファイルに変換する関数を書くと以下のようになります。（出力ファイルの拡張子により出力画像形式を判断します。）

def heic_convert_to(heic_filename, output_filename,q=90):
  import pyheif
  from PIL import Image

  heif = pyheif.read(heic_filename)

  image = Image.frombytes(
              heif.mode, 
              heif.size, 
              heif.data,
              "raw",
              heif.mode,
              heif.stride,
          )

  image.save(output_filename,quality=q )

このような変換関数を定義しておくと、Colaboratoryから簡単に変換が行えるようになります。

例えば、jpgに変換する場合は以下のようになります。（JPEGの品質設定は初期値の90）
heic_convert_to('/content/drive/My Drive/sample.HEIC','/content/drive/My Drive/sample.jpg')

JPEGの品質設定に80を指定する場合は以下のようになります。
heic_convert_to('/content/drive/My Drive/sample.HEIC','/content/drive/My Drive/sample.jpg',80)

pngへの変換も同様に拡張子にpngを指定します。
heic_convert_to('/content/drive/My Drive/sample.HEIC','/content/drive/My Drive/sample.png')

なお、このようなユーティリティ関数はモジュールとしてGoogleドライブで管理しておくと複数のノートブックで共有できて便利です。

コメント

コメントを投稿

このブログの人気の投稿

Google Document AIで画像から表形式データを抽出する（Vision API OCRとの違い）

-
イメージ
本記事では、GoogleのDocument AIを利用して、表形式（テーブル形式）で記載された画像から、表形式の情報を抽出してみます。また、GoogleのVision API OCRを利用した場合との違いについてもみておきます。 【目次】 ［１］はじめに ［２］Document AIとVision API（OCR）の違い ［３］テスト用の表形式画像 （１）英語版表形式画像（shoppinglist.jpg） （２）日本語版表形式画像（okaimonolist.jpg） （３）PDFファイルへの変換 ［４］Vision APIによる表形式画像の認識 （１）実験方法 （２）英語版表形式画像の認識結果 （３）日本語版表形式画像の認識結果 ［５］Document AIによる表形式画像の認識 （１）実験方法 （２）英語版表形式画像の認識結果 （３）日本語版表形式画像の認識結果 ［６］最後に ［１］はじめに Google Vision APIを利用すると、画像から文字を抽出（OCR）できます。 https://cloud.google.com/vision/ Vision APIは、本などの文章の画像や、風景の画像から文字を抽出するといったケースでは、かなりいい感じで文字を抽出してくれます。文章が書かれているような画像の場合は、画像から文字を抽出するだけでなく、大雑把に文書の構造も得ることができます。 しかし、Vision API OCRでは期待した抽出が難しい例もあります。 例えば、下図のような、よくある表形式で書かれた書類です。 文章の画像は、隣接する文字の塊を抽出するだけでも、期待した文章が抽出できることが多いと思います。 しかし、上図のような表形式の書類は、隣接した文字の塊を抽出するだけでは利用価値が低い場合が多く、表形式のデータとして認識する必要があります。 表形式の書類は、人間が見れば、表組の意味を理解して要点を把握しやすい表現だと思います。例えば、「2021/2/2のお菓子の値段は300円であり、同日のお弁当は1,000円」云々と文章でつらつら書かれるより分かりやすいです。 一方で、これを機械的に認識しようとすると、単語レベルの文字列が散らばって配置されているレイアウトのようにも見えて、解釈が難しい場合が多いです。実際、汎用目的の機械的な表の認識を行
続きを読む

VirtualBoxのスナップショット機能

-
イメージ
本記事では、VirtualBoxのスナップショットがもつ情報と使い方について見ていきます。   【目次】 ［１］はじめに ［２］スナップショットの保存内容 ［３］VirtualBox マネージャのスナップショット画面 ［４］スナップショットの作成 ［５］スナップショットのプロパティの表示と編集 ［６］スナップショットの復元 ［７］「最新の状態」とスナップショットの履歴 ［８］スナップショットの削除 ［９］エクスポート/インポートの注意事項 ［１］はじめに 仮想マシンを利用するの利点の一つは、ある時点の仮想マシンの状態を保存し（スナップショットを作成）、後に、保存した状態を容易に復元することができることかと思います。 例えば、開発環境のある状態を保存しておき、ライブラリのバージョンアップを実行してみて、その結果が悪ければバージョンアップ前の状態に戻す、ということが簡単にできます。 スナップショットは、実行中の仮想マシンの状態（メモリ等の状態）も保存できますので、エディタで編集中の状態まで保存、復元できたりします。（少し言い過ぎですが、ワープロ編集中にでUndoやRedoを利用するのと同じような感覚でしょうか。） また、スナップショットのデータは、仮想マシンと統合管理されているため、保存、復元操作が非常に簡単です。 （一方で、スナップショットは、一般に言うバックアップとは少し目的が異なるため、バックアップの代替えになるとは限らない点に注意が必要です。） 本記事ではVirtualBoxのスナップショットについて見ていきます。 （参考） Vagrantをお使いの場合は、記事『 Vagrantのスナップショット機能とVirtualBox 』も参考にして下さい。 ［２］スナップショットの保存内容 VirtualBoxのスナップショットについては、ユーザマニュアルに記載があります。 User Manual 1.10. Snapshots（ https://www.virtualbox.org/manual/ch01.html#snapshots ） 詳しくは上記ドキュメントをご参照頂くとして、スナップショットは仮想マシンの構成、ディスクとメモリの内容を保存しています。 ハードウェア構成を含む仮想マシン設定の完全なコピーを持っています。 これにより、例えば、ある時点
続きを読む

オントロジーエディタ Protégé を使ってみる

-
イメージ
本記事では、デスクトップ版の Protégé のセットアップと、オントロジーの可視化、推論などの使い方を簡単に見ていきます。 【目次】 ［１］はじめに ［２］Protégé Desktop のセットアップ （１）Ubuntu でのインストール手順 （２）起動確認 （３）起動用ショートカットの作成 ［３］オントロジーの可視化ツール （１）OWLViz （２）OntoGraf （３）ProtégéVOWL ［４］推論：Reasoner （１）推論の実行 （２）Pellet の利用 ［５］その他 （１）Automatic Update の設定 （２）オートコンプリートの利用 （３）エンティティのレンダリング設定 （４）メモリ設定（2022/7/31追記） ［１］はじめに Protégé はスタンフォード大学で開発されているオープンソースのオントロジーエディタです。 Protégé https://protege.stanford.edu/ Welcome to the Protégé wiki! https://protegewiki.stanford.edu/wiki/Main_Page Protégé Project (GitHub) https://github.com/protegeproject/ Protégé を使えば、Web オントロジー言語である OWL（Web Ontology Language）を対話的かつ視覚的に扱うことができ、HermiT や Pellet などの推論も利用できます。 Protégé は大きくWeb版とデスクトップ版がありますが、本記事ではデスクトップ版を見ていきます。 デスクトップ版には Web版のようなコラボレーション機能はありませんが、オントロジーエディタとしての機能面はWeb版より充実していると思います。 記事『 Pythonでオントロジー指向プログラミング（Ontologies with Python: Programming OWL 2.0 Ontologies with Python and Owlready2） 』で紹介した本では、Owlready2 の説明の前にデスクトップ版 Protégé を使ってオントロジーを作成するところから始まります。 Protégé を使わず OWL を
続きを読む