GPT-3
GPT-3（Generative Pre-trained Transformer 3）は人間が書いたような自然な文を出力する、巨大で汎用的な文章生成AI。チャットボット「ChatGPT」や開発者向けサービス「GitHub Copilot」の構築に利用された。
概要[編集]
OpenAI（人工知能研究所）が開発した言語AIモデルのうち3番目のバージョンで、従来の回帰型ニューラルネットワーク（RNN）をより並列化させた「Transformer」と呼ばれる深層学習モデルを使用し、約1750億のパラメータとテキストデータセット3000億個を用いて学習をさせている。少ないサンプルデータを与えるだけで結果を予測する「few-shot learning」と呼ばれる特徴を備えており、前もって大量のデータセットを用意する必要がない。これによって文章の後半を補完したり、前後の内容に合った文章を挿入することができる[1]。ファウンデーションモデル（基礎モデル、foundation model）の一種。
サービス[編集]
2020年6月11日、OpenAIがAzure[注釈 1]におけるGPT-3のテキスト生成APIを提供する商用サービスを発表[2]。APIを試用する動画がSNS上で拡散されると、これまでのAIにはなかったGPT-3の創造性が反響を呼び、プログラムコードの自動生成の可能性にも注目が集まった。2021年4月時点でAPIを利用するアプリケーションは300を越え、1日あたり平均約45億語を生成している[3]。
2021年11月2日にはMicrosoftが、招待制でGPT-3を使用できるサービス「Azure OpenAI Service」の提供開始を公表している[4]。
さまざまな評価[編集]
- GPTは、あくまでそれらしい返答ができる「言語モデル」にすぎず、その他のAI的な機能（例えば、統計データの処理など）を有しているわけではない。文筆家の山本一郎は「子供の教育データをGPTに入力して問題を起こしそうな子供の割り出しを行った」という教員の例を引き合いに出して、「電話が開通した際に「声が届くのだから荷物も届くだろう」と電柱に張られた電線に荷物を括りつける馬鹿が続出したのと同じレベルの過ち」と非難している[5]。
余談[編集]
APIを用いてGPT-3に人間と競わせたり、人間を装わせたりする例が出ている。
- 2020年8月、GPT-3が生成した文章を殆ど無編集のまま掲載したブログがカリフォルニア大学の学生によって公開され、Hacker Newsでトップに躍り出る。記事がアルゴリズムによって書かれたものではないかと疑ったユーザーは3、4人程度だった[6]。
- 2020年9月下旬から米大手ソーシャルニュースサイト「Reddit」に1分に1回のペースで断続的に投稿を行うユーザー「thegentlemetre」が現れて1週間活動したのちに、GPT-3を活用しているサービス「Philosopher AI」を流用したbotであることが判明。Philosopher AIからのブロックを受けてユーザーの投稿は止まった。botの投稿の中には157個の高評価が付くものもあった[7]。
- 教育系サイトのEduRef.netがGPT-3に大学のレポート課題をさせて匿名で採点したところ、4科目中3科目に合格した。不合格の科目は創作の課題だという[8]。
派生技術・サービス[編集]
OpenAIによるサービス[編集]
- GitHub Copilot - Microsoftによって構築された、GPT-3を用いてプログラムコードを自動生成しコーダーを支援するツール。
- DALL・E - 2021年1月5日にOpenAIが発表。入力した説明文通りの画像を的確に自動生成するAIモデルで、GPT-3の技術が用いられている。パラメータ数は120億[9]。
- InstructGPT - 2022年1月27日にOpenAIがAPIによる提供開始を発表。出力内容における人種差別的または暴力的な表現を減らす等、強化学習によって人間の意図に沿うように改良されたGPT-3[10]。
- ChatGPT - 2022年11月30日発表[11]。GPT-3の改良型であるGPT-3.5を用いたチャットボットサービス。人間が入力した文章に対して、あまり違和感のない返答の文を表示する。日本語文の生成に対応している。事実とは異なる内容の文も生成されるが、自然な文体のため看破しにくい[12]。
その他[編集]
注釈[編集]
出典[編集]
- ↑ “コーディングも支援可能な文章生成AI「GPT-3」が文脈に応じた内容を生成するように進化”. au Webポータル経済・ITニュース (2022年3月16日). 2022年3月31日確認。
- ↑ “AI研究組織のOpenAI、「GPT-3」のAIモデルを利用する商用APIを限定リリース - ZDNet Japan”. ZDNet Japan (2020年6月12日). 2021年1月9日確認。
- ↑ “AI言語モデル「GPT-3」は1日あたり平均45億語を生成している”. Ledge.ai. （2021年4月18日） 2021年7月5日閲覧。
- ↑ マイクロソフト、新しくAzure OpenAI Serviceを通じ言語AI「GPT-3」を招待制で提供開始 | TechCrunch Japan
- ↑ いくらAIが便利だからって、子どもの教育データをGPTに流し込んで表を作らせようとする馬鹿教師は滅亡して欲しい - note
- ↑ “GPT-3生成のブログ、ハッカーニュースで1位に”. AXION (2020年8月17日). 2021年1月8日確認。
- ↑ “MIT Tech Review: 「GPT-3」ボットが人気掲示板に大量書き込み、1週間見破られず”. KADOKAWA Technology Review (2020年10月3日). 2021年1月9日確認。
- ↑ “AIが人間は3日かかる課題を20分以下に、脅威の「GPT-3」が大学の授業4科目のうち3科目に合格”. Ledge.ai. （2021年3月17日） 2021年7月5日閲覧。
- ↑ “【Infostand海外ITトピックス】画像を生成するOpen AIの「DALL-E」 活用広がる「Transformer」”. クラウド Watch (2021年1月18日). 2021年1月25日確認。
- ↑ OpenAI、「GPT-3」より従順な改良版「InstructGPT」をAPIで提供開始 - ITmedia NEWS
- ↑ OpenAIが会話向け言語モデル「ChatGPT」を公開、リサーチプレビュー中は無料で使用可能|CodeZine（コードジン）
- ↑ ウソはウソと見抜ける人じゃないとChatGPTを使うのは難しい - きしだのHatena