日本語処理

日本語処理とは、広義の日本語をコンピュータによって処理する技術をいう。

自然言語処理は一般に AI の一分野とされるが、こと日本語に関しては「過去千年以上のテキストの蓄積がある」「『漢字かな交じり文』という独特の表記体系を採用している」「語順によらず、助詞によって文法格を指定する」「死語ではなく、一億人以上のネイティブの使用者がおり、しかも英語のように他の文化圏では広く使われることがない地域語である」といった特殊事情があるため、他言語の処理とは難易度が格段に高い。そのため、日本語処理はブラックアート(黒魔術)と呼ばれることもある。三十年前と比較すると、マイクロプロセッサの性能は十億倍ほどに向上しているにもかかわらず、「かな漢字変換」の変換精度はむしろ下がっている。

概要[編集]

一般に自然言語処理は「形態素解析」「構文解析」「意味解析」の三つの段階に分けられる。ところが、日本語の場合は「（相手が）未知のことを伝えれば足りる」^[1]ので、とにかく省略が多い。欧米の言語のように、頻繁に語頭に主語が現れる（省略される場合は、「私があなたに言っている」という命令形くらいである）わけではない。「月が綺麗ですね」は「私は月を綺麗と感じますが、あなたはどのように感じますか」となるだろうが、「私はあなたを愛する(I love You!)」は「それで？(So what?)」みたいな話になりかねない。「月が綺麗ですね」「…… えぇ、本当に。」みたいな風情をコンピュータに "理解" させようとすると、もっと総合的な手法が必要になってくる。ただし深層学習によっても薄っぺらな応答しかできない。Chat GPU もその程度のレベルでしかない。

したがって、日本語の形態素解析と日本語の構文解析と意味解析は、段階的・個別的には論じがたい。

計量言語学が日本語学の分野であまり取りあげられないのは、日本語処理（より正確には、そのうちの形態素解析）技術があまり知られていないことがある。

日本語の不規則活用動詞は「サ行変格活用動詞」の「する」と「カ変」の「来る」だけだと長年されているが、実は「行く／征く／逝く」と「言う／云う／謂う」は「指標音が -i 音なのに、なぜ -u 音と同じ活用

という意味では不規則活用動詞と謂えなくもないし、

「乞う／請う」「問う」はなぜか文語文法のハ行音末尾動詞の活用と同じ
「呉れる」の命令形が「くれろ」ではなく「くれ」（連用形現在）になるのは「たまえ」が省略されたもの

とかいうことに気づかないのは、国文法研究者が手軽に使えるようなパソコン環境が普及していないからである。

「一」は漢語の頭につくと「イチ」で、和語では「ひと」
「大」は漢語の頭につくと「ダイ」で、和語では「おお」

などといった俗説があるが、「ひと波瀾」「ひと騒動」「ひと悶着」、「おお地震」「おお騒動」といった例外にも気づかない。こうした不規則な例は使用頻度が高く小数でも頻出するため、パソコンで淘(よな)げてリストアップしてすべて IME の辞書に登録しておけば、

かな漢字変換システムの変換精度の向上
自働ルビ振り

などによく効く。MicroSoft はこのあたりのノウハウを持っていないので、IME が使いにくい。