GPT-4

Generative Pre-trained Transformer 4 (GPT-4)

作者	OpenAI
初版	2023年3月14日 (19か月前) (2023-03-14)
前身	GPT-3.5
後継	GPT-4o
種別	自己回帰モデル transformer 言語モデル
ライセンス	プロプライエタリ
公式サイト	openai.com/gpt-4
テンプレートを表示

GPT-4（ジーピーティーフォー、Generative Pre-trained Transformer 4）とは、OpenAIによって開発されたマルチモーダル（英語版）大規模言語モデルである^[1]。2023年3月14日に公開された^[2]。自然言語処理にTransformerを採用しており、教師なし学習によって大規模なニューラルネットワークを学習させ、その後、人間のフィードバックからの強化学習（RLHF）を行っている^[3]。

OpenAIはGPT-4を発表した記事において、「GPT-4はGPT-3.5よりも遥かに創造的で信頼性が高く、より細かい指示に対応できる」と紹介している^[2]。GPT-4は25000語以上のテキストを同時に読み取ることができ、これは以前のバージョンに比べると大幅に改良されている^[4][5]。

GPT-4は「安全性のリスク」と「競争上のリスク」を考慮し、あえてパラメータを明示するのを控えている。技術報告書内では人間とAIのデータを用いて強化学習を行ったという事実以外は、モデルサイズ、ハードウェア、アーキテクチャ、トレーニング方法、訓練データ、人間のフィードバックからの強化学習に何人月を投じたかなどの開示はしていない^[3]。

そのため、GPT-4の正確なパラメータ数は不明である。ザ・ヴァージはGPT-3は1750億個のパラメータを持つのに対してGPT-4は100兆個のパラメータを持つと報じていたが、前述の理由でOpenAIのCEOであるサム・アルトマンはこれを「まったくのでたらめだ」と否定している^[6]。

前述の通り、OpenAIはGPT-4の詳細な性能を開示していない。これはいままでOpenAIがオープンソース的な方針を取ってきた事実^[7]からすると、正反対の方針であると言える。これはGPTシリーズに限ったことではなく、OpenAIに限ったことでもない。現在、透明性の問題はAIモデリング業界全体の課題となっている^[8][9]。多くの人工知能研究者はこの「閉鎖的なアプローチ」に対して、安全性が損なわれ、バイアスがかかる可能性があるとして批判をしている^[10][11]。HuggingFace社の研究者であるサーシャ・ルッチョーニは、閉鎖的な研究はOpenAIにとっては十分かもしれないが、科学界にとっては「デッドエンド」でしかないと強く批判している^[12]。また、アレン人工知能研究所（英語版）の研究者であるプリトヴィラージ・アマナブルは「GPT-4はもはや『製品』であり、『科学』ではなくなった」と述べている^[13]。OpenAIの設立時に多額の資金提供を行ない、共同設立者でもあるイーロン・マスクは「OpenAIは名前の通り、オープン（Open）であることを主旨として出資したのだが、今のOpenAIはマイクロソフトに管理された営利企業であり、閉鎖的であるため、全くもってオープンではない。これは私の意向に反する」としている^[14]。アラン・チューリング研究所（英語版）の研究者であるワリド・マグディは「GPT-4をオープンソースにしないのは構わないが、それならば会社名を『Closed AI』に変更すべき」と主張している^[7]。これらの批判に対してOpenAIの共同設立者・主任研究員であるイリヤ・スツケヴェル（英語版）は、これまでOpenAIが人工知能研究に対してオープンソースのアプローチを取っていたのは全くの誤りだったとしており、「GPT-4はこれまでに比べると優れた言語モデルであるが、将来的にはさらに性能が向上することが予想され、そうすれば悪用され、人類に危害を与えるのは火を見るより明らかであり、そうしたことを想定すればオープンにしたくはない」と述べており、また「強力な人工知能、つまり汎用人工知能がとてつもなく強力な知能を持つと考えれば、オープンソースの形を取るのは無意味で悪い考えであると数年以内に誰もが知ることになる」と主張している^[10]。

GPT-4には画像自体を解析して分析・要約する高い能力がある。GPT-4に司法試験を解かせたところ、人間の受験者と比べても上位10％の成績を叩き出しており、かなりの確率で合格している。また、アメリカの大学入試テストとして使われるSATにおいては、1600点中1410点（数学テスト700点、リーディングテスト710点）を獲得している^[15]。これらの点数は特別な訓練なしで獲得したものである。

アメリカの医師試験として使用されるUSMLEにおいては、3段階のテストで医師としての適性を図るという方法をとっている。GPT-4にUSMLEを解かせたところ、3段階の試験を突破し、合格点数を20点上回る点数を出した^[16]。この結果は前述のテストと同じように、特に特別な訓練なしで獲得したものである。また、この点数は医療用の人工知能として開発されたMed-PaLM（英語版）を上回る結果である。

GPT-4は人間の言語（自然言語）指示から、直接ソースコードを出力することが可能である。JavaScriptにて「テトリス」や「ポン」を作成するように命じられれば60秒で、「パックマン」は90秒で完全にプレイ可能なコードを作成できる^[17][18]。

とはいえ、OpenAIはGPT-4の性能を完璧には程遠いと認めており、改良の余地があるとしている。というのも人工知能分野において「ハルシネーション（幻覚）」と呼ばれる、間違った正解を出力してしまう問題が完全には解決されていないからである^[19]。

そのため、あらゆる能力において人間と同レベルの知能を持つ人工知能、いわゆる汎用人工知能の到達には至っていないと考えられるが^[20]、マイクロソフトの人工知能研究者は、この大規模言語モデルが「驚くほど人類の能力に近付いている」と言及しており、まだまだ不完全で改良の余地があるとしながらも「汎用人工知能を実現する第一歩である」としている^[21]。

GPT-4はChatGPT PlusユーザーとAPI経由にて利用可能である^[1]。

マイクロソフトは公表前からMicrosoft CopilotにGPT-4を採用しており^[22]、今後はWord、Excel、PowerPoint、Outlook、Teamsなどに搭載を予定している^[23]。

言語学習アプリであるDuolingoにも採用されており、現在は英語話者向けにスペイン語、フランス語などの学習を支援している^[24]。

2種類のモデルがある^[25]。

• gpt-4
• gpt-4-32k

• OpenAI - 本言語モデルを作成したアメリカの人工知能研究所
• GPT-3 - 本言語モデルの旧来機
• 自然言語処理 - 自然言語、すなわち人間が使用する言語をコンピュータでどのように処理するかと言う学術分野
• 汎用人工知能 - 人類の知的能力に匹敵する人工知能。2023年においてはまだ実現していない