日本語処理

日本語処理とは、広義の日本語をコンピュータによって処理する技術をいう。

自然言語処理は一般に AI の一分野とされるが、こと日本語に関しては「過去千年以上のテキストの蓄積がある」「『漢字かな交じり文』という独特の表記体系を採用している」「語順によらず、助詞によって文法格を指定する」「死語ではなく、一億人以上のネイティブの使用者がおり、しかも英語のように他の文化圏では広く使われることがない地域語である」といった特殊事情があるため、他言語の処理とは難易度が格段に高い。そのため、日本語処理はブラックアート(黒魔術)と呼ばれることもある。三十年前と比較すると、マイクロプロセッサの性能は十億倍ほどに向上しているにもかかわらず、「かな漢字変換」の変換精度はむしろ下がっている。

概要

一般に自然言語処理は「形態素解析」「構文解析」「意味解析」の三つの段階に分けられる。ところが、日本語の場合は「（相手が）未知のことを伝えれば足りる」ので、とにかく省略が多い。欧米の言語のように、頻繁に語頭に主語が現れる（省略される場合は、「私があなたに言っている」という命令形くらいである）わけではない。「月が綺麗ですね」は「私は月を綺麗と感じますが、あなたはどのように感じますか」となるだろうが、「私はあなたを愛する(I love You!)」は「それで？(So what?)」みたいな話になりかねない。「月が綺麗ですね」「…… えぇ、本当に。」みたいな風情をコンピュータに "理解" させようとすると、もっと総合的な手法が必要になってくる。ただし深層学習によっても薄っぺらな応答しかできない。Chat GPU もその程度のレベルでしかない。

したがって、日本語の形態素解析と日本語の構文解析と意味解析は、段階的・個別的には論じがたい。 =

関連項目

• 日本語の辞書

参考文献

• 岩渕悦太郎『文語文法　三訂版』、秀英出版、一九五三年三月二十五日初版発行／一九六六年三月二十五日三訂版発行
• 鈴木康之著／佐伯梅友監修『日本語文法の基礎』、三省堂、1977、ISBN4-385-34681-X
• 大野晋『日本語の文法を考える』、岩波書店、1978、岩波新書(黄版)53、ISBN4-00-420053-9
• 坂井秀寿『日本語の文法と論理』、勁草書房、1979
• 寺村秀夫『日本語のシンタクスと意味II』、くろしお出版、1984、ISBN4-87424-003-8
• 佐伯 梅友・森野 宗明・小松 英雄編著『例解古語辞典』第二版、三省堂、1989、ISBN4-385-13316-6
• 斎藤純男『日本語音声学入門』、三省堂、1997、ISBN4-385-34586-4
• 佐伯 梅友・森野 宗明・小松 英雄編著『例解古語辞典』第二版、三省堂、1989、ISBN4-385-13316-6
• 岩淵 匡（いわぶち・ただす）・桜井 光昭・武部 良明・森田 良行 編『日本文法用語辞典』、三省堂、1989、ISBN4-385-13585-1
• 『中学校　国語２』、学校図書株式会社、平成四年二月二十九日文部省検定済