テクノ大福帳

日本語入力を支える技術　～変わり続けるコンピュータと言葉の世界 2012/2/8 徳永 拓之 (著) 日本語入力を支える技術　～変わり続けるコンピュータと言葉の世界 （Amazonで書籍情報を表示） これまで本ブログで日本語の文字に関する本をいくつか取り上げましたが、今回は日本語入力に関する本を取り上げます。 普段殆ど意識することなく日本語入力していますが、考えてみると、なぜ現在のような入力方式が一般に広がったのか？とか、どのような原理でローマ字入力から漢字交じりの日本語に変換できるのか？など、様々な疑問が湧いてきます。 今回取り上げる本は、そのような疑問に答えてくれる本です。 この本は2012年出版なので少し古い感じもするかもしれません。実は私も新品を買ったのではなく、最近、Amazon の中古品で購入して読みました。 ちなみに、私は先端の日本語入力技術を理解しているわけではありませんので、最新の技術と比較して、この本がどうなのかはわかりません。 しかし、日本語入力技術の経緯や理論的な考え方を、数式とコードを織り交ぜて丁寧に解説してくれており、興味深く読むことができました。理論中心の教科書と違って、コード例を示してくれることで数式の意味も理解しやすいです。 この本に書かれていることは、日本語入力に限らず、一歩進んだ入力支援機能を考える際のヒントが詰まっていると思いましたので、今回取り上げることにしました。 ＜本の内容＞ 本書の構成は「はじめに」に以下のように書かれています。 『本書の前半は日本語入力システム全般の知識を解説し、後半ではかな漢字変換を中心に、そこで使われるアルゴリズムやデータ構造などを掘り下げます。かな漢字変換には、自然言語処理という研究分野で用いられる手法がそのまま使えます。逆に、本書を自然言語処理への入門として読むこともできるでしょう。』 【目次】 第1章　日本語と日本語入力システムの歩み 1.1　コンピュータで日本語を扱うということ 1.2　日本語を入力するということ 1.3　日本語入力とかな漢字変換 1.4　日本語入力のはじまり 1.5　かな漢字変換のはじまり 1.6　単文節変換から連文節変換へ 1.7　2強時代の到来～統計・機械学習ベースのアルゴリズムへ 1.8　Web検索各社のかな漢字変換エンジ...

[改訂新版]プログラマのための文字コード技術入門 (WEB+DB PRESS plusシリーズ) 2018/12/28 矢野 啓介 (著) プログラマのための文字コード技術入門 （Amazonで書籍情報を表示） 最近になって「文字」が気になり始め、さらに『 文字や文字コードに興味を持ったら絶対に読むべき本（ユニコード戦記） 』を読んだこともあって、文字に愛着？のようなものを感じ始めたところです。 最終的には JIS や Unicode、ISO/IEC 10646 などの規格書を読まないといけないかな？とは思いつつも、私のような文字の基礎知識が薄い人間は、今の段階で読んでもすぐに飽きてしまいそうな気がしてます（笑）。 そこで、最近の事情をまえた文字技術を概観できるような本はないかと探して読んだのがこの本です。 タイトルに「プログラマのための」とある通り、文字そのものについての話というよりは、主に文字コードの基礎知識や利用上の留意点などが多く取り上げられています。 単なる符号化規則の話だけではなく、歴史的な経緯や、（絵文字も含めた）文字の種類、そして文字（コード）変換やプログラミング上の留意点など、幅広く触れられており、システム開発に関わる人が知っておくべき基礎知識が詰まった良い本だと思いましたので書き留めておきます。 ＜本の内容＞ 本書で取り上げられている話題を概観します。 【目次】 第1章　文字とコンピュータ 1.1　コンピュータで文字を扱う基本 1.2　文字を符号化するということ 1.3　文字集合と符号化文字集合 1.4　制御文字 1.5　文字コードはなぜ複雑になるのか 1.6　まとめ 第2章　文字コードの変遷 2.1　最もシンプルな文字コード 2.2　文字コードの構造と拡張方法を定める 2.3　2バイト符号化文字集合の実用化 2.4　1バイト符号化文字集合の広がり 2.5　国際符号化文字集合の模索と成立 2.6　まとめ 第3章　代表的な符号化文字集合 3.1　ASCIIとISO/IEC 646 3.2　JIS X 0201 3.3　JIS X 0208 3.4　JIS X 0212 3.5　JIS X 0213 3.6　ISO/IEC 8859シリーズ 3.7　UnicodeとISO/IEC 10646 第4章　代表的な文字符号化...

ユニコード戦記 ─文字符号の国際標準化バトル 小林龍生 (著) 発売日 ‏ : ‎ 2011/6/10 ユニコード戦記 ─文字符号の国際標準化バトル─ （Amazonで書籍情報を表示） 文字を扱わないアプリは殆ど無いと思います。 そして、アプリを普通に使う上で文字が問題になることは殆ど無いと思います。 しかし何か特別な事情、例えば、人名や地名などを正確な字形で表現する必要がある場合は、非常に難しい問題に直面します。 ローカルPC内に閉じた話であれば「外字を作ればいいじゃん」で解決できても、何らかの電子的な情報交換や再利用の必要がある場合、それは解決策にはなりません。 加えて（恥ずかしながら）最近になって日本語には非常に多くの漢字がある事を知り、そもそも文字とは何なのか？、とか、文字の規格はどのようにして決まったのか？など疑問がどんどん溜まってきました。 そこで、技術書や規格書ではなく、その背景を知るための本を探して読むことにしました。 それが今回紹介する本『ユニコード戦記 ─文字符号の国際標準化バトル』です。 この本は、文字に関する体系的な技術書ではありませんが、文字の規格に関する多くの背景を知ることができ、さらに文字コード関係以外の読み物としても非常に面白く、読み終えると、何だか感動する？という、素晴らしい本でした。 ちなみに、この本はユニコードなどの前提知識が無くても読める本だと思いますが、JIS漢字やユニコードのことを知って（特に疑問を持って）読むと非常に興味深く読むことができます。 ＜本の内容＞ 本の雰囲気を知るために、まずは目次を見ておきます。話の進み方は物語風です。 【目次】 第1幕　序章 第1章　参戦 1　召集令状 2　緒戦 3　初戦果 4　パックス・アメリカーナ 5　出張の嵐 6　ルビタグ縁起 7　情報帝国主義 第2章　戦友 1　去りゆく古参兵 2　バディ参戦 3　最初の提案 4　ルビ戦争勃発 5　先任軍曹 6　共同議長 第3章［幕間1］　一九九五年ごろの文字コード 1　コンピューターの発展と文字コード規格の変貌 2　日本語情報処理の発展と国際符号化文字集合への蠕動 3　そして、ぼくの前史 第2幕　国内戦線 第4章　JIS X 0213と国際整合性 1　重大ニ...

【目次】 ［１］はじめに ［２］行政における外字の情報表現の例 （１）マイナンバーカードに格納される署名用電子証明書の氏名、住所 （２）法人番号公表サイトの法人情報 ［３］汎用電子情報交換整備プログラム ［４］文字情報基盤 ［５］戸籍統一文字情報の検索サイト ［６］道のりは長い（文字は生きている？） ［１］はじめに 以前、『 法人番号公表サイトのWeb-APIを利用した法人情報の取得と文字の取扱い 』という記事を書いたときから「文字」のことが少し気になっていました。 コンピュータで表示できない文字がいっぱいあることは分かっていましたが、これまで PC や社内システムに閉じた「外字」として扱ってましたので、あまり深く考えていませんでした。 加えて、私は国語嫌いだったこともあって、文字とか漢字とか面倒な世界は意図的に遠ざけていた気がします。 しかし、PC あるいは社内で閉じた利用に限れば外字は使えても、他のシステムとの情報交換には使えません。特にDX時代において「外字」はかなり問題です。 文字に無関心だった私は、難しい漢字を簡単な漢字に置き換えて（縮退して）情報交換すればいいのでは？と簡単に思っていましたが、今頃になってそんなに簡単ではないことが分かってきました。 そして、ボチボチ調べ始めていたのですが、奥が深すぎて自分の頭の中が混乱し始めたので（涙）、このあたりで自分の頭の整理をかねてメモ書きしておくことにしました。 ちなみに、今回は文字とは？といった話ではなく、また、文字コード規格の話でもありません。どちらかというと、文字の図形と文字コードの間を結び付けるところの話です。 ［２］行政における外字の情報表現の例 まずは外字の情報交換がどのように扱われているのか、行政関係の仕様を例に見てみます。 （１）マイナンバーカードに格納される署名用電子証明書の氏名、住所 マイナンバーカードには、氏名、住所、生年月日、性別の4情報が記載された「署名用電子証明書」が格納されています。 利用者クライアントソフトに係る技術仕様について https://www.j-lis.go.jp/jpki/procedure/procedure1_2_3.html 署名用電子証明書及び利用者証明用電子証明書のプロファイル仕様書 仕様書によると、氏名、住...

本記事では、国税庁の法人番号公表サイトで提供されている法人番号システムWeb-APIを利用した法人情報の取得方法と、法人情報における文字の取扱いについて見ていきます。 【目次】 ［１］はじめに ［２］法人番号システム Web-API利用の準備 ［３］Web-APIの利用サンプルコード ［４］文字の取扱い ［１］はじめに 国税庁の法人番号公表サイトでは、法人番号の指定を受けた者の基本３情報（1.商号又は名称、2.本店又は主たる事務所の所在地、3.法人番号）を公表しています。 国税庁法人番号公表サイト https://www.houjin-bangou.nta.go.jp/ このサイトでは、法人の検索、基本３情報のダウンロードに加えて、 指定した法人番号や法人名で抽出した法人に係る情報、指定した期間及び地域で抽出した法人の更新（差分）情報を取得する ことができる「法人番号システム Web-API」も提供しています。 法人番号とは、国税庁が指定する13桁の識別番号で、素人的にざっくり考えれば、個人に対するマイナンバーの法人版（法人を特定する番号）と考えると理解しやすいですが、マイナンバーと違って公開情報です。 法人番号の詳細については、上記サイトのほか、Wikipediaの説明も参考になります。 法人番号（Wikipedia） https://ja.wikipedia.org/wiki/%E6%B3%95%E4%BA%BA%E7%95%AA%E5%8F%B7 Wikipediaの説明を読むと、法人番号は、いわゆる登記された会社や法人だけでなく、国の機関や地方公共団体も指定されるようです。法人番号が割り当てられていれば、法人番号公表サイトで検索することができます。 （「衆議院」なども法人番号が割り振られているとは知りませんでした。実際、検索することができました。） ところで、設立登記が行われるような法人に関しては、登記情報をもとにした情報提供が行われているようです。そうだとすると、私として技術的に興味深いのは、どのように登記情報の文字を扱っているかな？というところです。 具体的には、登記ではJISコードが割り当てられていない文字も扱う必要があり（よく外字登録して利用されるような文字など）、インターネットで情報提供を行う場合、このような文字をどのように扱うのかな...