4つのAIに国家資格を解かせたら、全部受かったのは2つだけだった

最後の一行が、いちばん大事だ。いちばん面白い数字ほど、いちばん疑ってかかる必要がある。研究とは、そういう作業である。

結果を語る前に、土俵の話をしておきたい。勝敗の数字は、ルールが雑であれば一瞬で価値を失う。

受験者の多い国家資格の中から、分野が重ならない3つを選んだ。

※宅建の合格点は年度により変動。今回使用した令和7年度は33問。

FP3級は「お金の常識」、宅建は「不動産と法律の専門知識」、ITパスポートは「ITの基礎体力」。ジャンルがばらばらだからこそ、AIの知識の偏りが浮かび上がる。同じ教室で受けさせても、得意科目が同じとは限らない。人間の学生と同じだ。

当初は3社（Claude・GPT-4o・DeepSeek）で実験を始めた。だが、Google の Gemini を外したまま公開すれば、読者が最初に気づくのは結果ではなく不在だろう。そこで Gemini を4社目に加え、198問すべてを解かせ直した。

補足：GPT-4oはOpenAIの最上位モデル（o1やGPT-4.5 Turbo等）ではなく、広く一般に使われているモデルを代表として選んだ。DeepSeekはAPI経由で `deepseek-chat` を指定したが、サーバー側からは `deepseek-flash` が返された。Geminiも同様に、最上位のProやUltraではなくFlash（軽量版）を使用している。いずれも「一般の利用者が手軽に使えるモデル」という基準で選んだ。

公正さを保つために、ルールは疑り深い人間が読んでも穴が見つからないよう、厳密に固定した。

1. 1問ずつ、問題文と選択肢だけをプロンプトに入れた（ヒントや前の問題の情報は一切なし）
2. プロンプトは全モデル共通（「選択肢の番号だけを答えてください」）
3. temperature は 0（最も確定的な設定。ランダムなブレを最小化）
4. 各資格1回のみ（何度も試して良い結果だけ見せる、はやらない）
5. 画像・図表を含む問題はスキップ（テキストのみのAIに図を見せることはできない）
6. 正解判定は公式解答との完全一致。部分点なし

要するに、人間の試験会場と同じだ。やり直しはきかない。情状酌量もない。

Geminiの出力上限について：Geminiは回答の前に「考える」トークン（思考過程）も出力の上限に数える仕様のため、他の3モデルと同じ上限（50トークン）では回答が途切れて空になりうる。そこでGeminiだけ出力上限を1024トークンに広げた。回答の中身（選択肢の番号だけを答える）、問題文、プロンプト、temperature=0は4社で同一である。この条件の違いは、後述の「限界」でも改めて触れる。なお、Geminiは198問中2問で有効な選択肢を返さなかった（無効回答）。GPT-4oにも1問の無効回答がある。無効回答はすべて不正解として扱った。

ITパスポートの採点について：公開100問のうち、OCR抽出不良の11問と図表問題1問を除外し、88問で採点した。公式のITパスポートはIRT方式（1000点満点）だが、公開問題では正答率60%以上を合格相当として判定した。

結果を公開する以上、「正解データが間違っていた」では話にならない。採点する側の間違いほど、間抜けなものはない。

そこで、副部長のマークが、各資格の公式サイトに掲載されている正解一覧と、実験で使用した正解データを1問ずつ突合し、採点ロジックの検算を行った。結果は、正解データは公式PDFと一致、採点は正しい。退屈な報告だが、これがなければ、このあとの数字はすべて砂の上の城になる。

4モデル合計のAPI費用実測は以下のとおり。

駄菓子を数個買える程度の金額で、4つのAIに計792問を解かせた。試験会場を借りる費用は、かかっていない。

さて、舞台は整った。封筒を開けよう。

ここからは、数字が語る。合格ラインは、FP3級が36問、宅建が33問、ITパスポートが60%。覚えておいてほしい。

※Geminiは無効回答2問、GPT-4oは無効回答1問を含む（いずれも不正解扱い）。

Geminiが総合1位、3資格すべてに合格したのはGeminiとClaudeの2つだけ。Geminiの総合正答率93.9%は、他の3モデルを大きく引き離した。FP3級は満点。

だが、表をもう一度ゆっくり見てほしい。Claudeは、FP3級で60.0%。合格ラインの36問に、ちょうど36問。1問落としていたら、全資格合格の看板は2つではなく1つだった。

そして面白いのは、宅建だけ見ればClaudeの96%がGeminiの88%を上回っていることだ。総合力と個別の得意分野は、別物らしい。

ところで、総合点は、物語の半分でしかない。科目の中身を開くと、景色が変わる。

FP3級

Geminiは全分野で満点。Claudeの「タックスプランニング・不動産・相続」分野が45.0%と、他の3モデルに大きく引き離された最下位。のちに宅建で96%を出すモデルと同じ受験者とは、にわかに信じがたい。覚えておいてほしい。この違和感は、あとで回収する。

宅建

宅建では、ClaudeがGeminiを上回る分野が多い。Claudeは権利関係・法令上の制限・税・価格の3分野で全問正解。対してDeepSeekの宅建業法は、20問中5問正解（25.0%）。

四択問題を目をつぶって答えた場合の期待値は、25%である。つまりDeepSeekは、宅建業法に限れば、サイコロと互角だった。

ITパスポート

ITパスポートでは、4モデルとも高得点。Geminiのテクノロジ系94.4%とマネジメント系95.2%が目を引くが、ストラテジ系ではDeepSeek（93.5%）がトップに立つ。ITの基礎知識は国境を越えて共通だ。ここでは、誰も大崩れしなかった。

結果を出して終わりにはしない。この実験の限界を、正直に記す。読者が自分で判断するための材料だ。

1. FP3級と宅建の過去問は、新しいモデルの学習データに含まれている可能性がある

今回使用した宅建の過去問は令和7年度（2025年10月実施）、FP3級は2026年5月公表のものだ。

各モデルの学習データの範囲は、すべてが公表されているわけではない。GPT-4o（gpt-4o-2024-08-06）は学習データが2024年前半までと推定されており、宅建令和7年度の問題は学習していない可能性が高い。一方、Claude（claude-sonnet-5-5）とGemini（gemini-3.6-flash）は比較的新しいモデルであり、宅建令和7年度やFP3級2026年5月公表分が学習データに含まれている可能性を排除できない。DeepSeek（deepseek-flash）の学習データ時期は公表されていない。

今回の総合1位と2位が、最も新しい2つのモデル（GeminiとClaude）であること。そしてGeminiがFP3級で満点であることは、目を引く数字だ。だが、モデルの推論能力の差なのか、過去問が学習データに含まれていた影響なのか、この実験だけでは分けることができない。

率直に言う。最も大きく見えた勝利が、最も割り引いて読むべき勝利かもしれない。

なお、ITパスポート（令和8年度公開問題）は2026年に公表された新しい問題であり、4モデルの学習データに含まれている可能性は相対的に低い。ITパスポートの成績は、より公平な比較に近いと考えている。

2. Geminiだけ出力上限が異なる

前述のとおり、Geminiは思考トークンを出力に含む仕様のため、出力上限を他の3モデルの50トークンから1024トークンに広げている。回答内容（選択肢の番号だけ）は同一だが、条件が完全に揃っているとは言えない。Geminiの2件の無効回答は、この仕様に起因する可能性がある。

3. ITパスポートは100問中88問で採点した

OCR抽出不良11問と図表問題1問を除外している。除外した12問の正答が得点にどう影響したかは不明だ。

4. いずれも各社の最上位モデルではない

GPT-4oにはo1やGPT-4.5 Turboなど、より高性能なモデルがある。GeminiにもPro・Ultra、ClaudeにもOpusがある。今回は「一般的に使われているモデル」として選んだ。上位モデルであれば結果は異なった可能性がある。

5. 各モデル1回きりの試行

temperature=0に設定しても、APIの応答にはわずかなランダム性がありうる。複数回の試行と平均は取っていない。「受験と同じ1回勝負」に統一した。

なぜ限界を書くのか。限界を隠す記事は読者をミスリードする。限界を書く記事は、読者が自分で判断できる。正解データは公式PDFと照合済み、採点ロジックは検算済み、実験条件は再現可能な形で公開している。足りないところを隠さないからこそ、書いてあることは信頼していい。

勝ち負けより、じつは間違い方のほうが雄弁だ。

問題文の全文は著作権の観点から掲載しないが、問番号ごとの正誤データから、4モデルに共通する不正解のパターンを読み取ることができる。

792問（198問×4モデル）の中で、4モデルすべてが不正解だった問題は3問あった。

いずれもITパスポートだ。FP3級と宅建には、4モデル全員が間違えた問題は1問もない。

参考までに、Geminiを除いた3モデル（Claude・GPT-4o・DeepSeek）だけで見ると、全員不正解は7問あった。そのうち4問（FP3級の3問とITパスポート1問）をGeminiが正解している。Geminiが加わったことで、「AIの共通弱点」のリストは半分以下に縮んだ。

パターン1：具体的な数値・税率を問う問題に弱い（ただしGeminiは例外）

FP3級のタックスプランニング分野では、Claude・DeepSeek・GPT-4oの3モデルとも正答率が下がる傾向がある。特にClaudeは45.0%と極端に低い。税率や控除額、保険料の計算式など、年度ごとに変わりうる具体的な数値を問う出題が多い。ただし、Geminiはこの分野も含めてFP3級全問正解であり、このパターンは必ずしもAI全般の弱点とは言い切れない。

パターン2：DeepSeekとGPT-4oは宅建業法が苦手

宅建業法は、試験の配点の4割（20問）を占める最重要分野だ。DeepSeekはこの20問中5問（25.0%）しか正解できなかった。GPT-4oも11問（55.0%）にとどまる。Geminiは16問（80.0%）、Claudeは19問（95.0%）。

宅建業法は、免許の区分、重要事項説明の記載事項、手付金の上限など、条文の細かな要件を正確に知っていないと答えられない。「だいたい合っている」では不正解になる世界だ。AIの得意技である「それっぽさ」が、ここでは通用しない。

パターン3：全員間違える問題は「複合判断」を求める出題

4モデル全員が間違えた3問は、知識の単純な再生ではなく、複数の条件を組み合わせて判断する出題に集中している。4つのAIが、それぞれ異なる答えを自信満々に返してくる。四者四様の自信。会議でよく見かける光景である。こうした問題は、人間にとっても正答率が低い傾向がある。

さて、先ほど預けておいた違和感を、ここで回収する。

Claudeは宅建で96.0%をたたき出しながら、FP3級の「タックスプランニング・不動産・相続」分野では45.0%しか取れていない。どちらも不動産に関わる出題を含む。同じ口で、満点に近い答えと、不合格点すれすれの答えが出てきた。

Geminiも似た凸凹を持っている。FP3級は全問正解なのに、宅建業法は80%で4問落とした。完璧に見える受験者にも、穴がある。

種を明かせば、宅建は法律の条文知識、FP3級は税金の計算式と具体的な数値が中心だ。同じ「不動産」でも、問われる知識の質が違う。AIの知識は、見た目ほど均一ではない。得意科目を「AIが得意」と一括りにするのは、人間を「文系」「理系」で一括りにするのと、同じくらい乱暴なのだろう。

「AIが資格試験に受かるなら、勉強にも使えるのでは？」──そう思った読者も多いだろう。実験データから見えた、現実的な使い方を整理する。

4モデルとも、ITパスポートのような「幅広い基礎知識を問う試験」では80%以上の正答率を出した。用語の意味、概念の区別、基本的な仕組みの説明──「教科書に書いてあること」の確認相手としては、AIは十分に役立つ。

活用シーン1：自分が解いた問題の解説を頼む

資格の過去問を自分で解いた後、「この選択肢が正解である理由を説明して」とAIに聞く。参考書のページを探すより速い。ただし、AIの説明が正しいとは限らない。疑問を感じたら公式テキストに立ち返る癖をつけたい。

活用シーン2：暗記リストの下書きを作らせる

「宅建業法の重要事項説明で説明すべき項目を一覧にして」とAIに頼めば、まとまった一覧が出てくる。ただし、今回の実験でDeepSeekの宅建業法が25%だったことを思い出してほしい。AIが作ったリストを鵜呑みにせず、公式テキストと照合するひと手間が要る。

FP3級の税率計算、宅建の法令の細かな要件──「正確な数字」を問われると、AIの回答は揺らぐ。4モデル全員が間違えた3問は、いずれも複数の知識を組み合わせる出題だった。

活用シーン3：「AIが全員間違えた問題」で自分の弱点を測る

上に掲載した「4モデル共通不正解リスト」の3問に、自力で挑戦してみてほしい。公式サイトから該当の問題番号を探して解くことができる。AIが全員間違えた問題を正解できれば、少なくともその分野ではAIを上回っている。解けなければ、そこが本当の弱点だ。人間がAIに勝てる数少ない場面を、見逃す手はない。

今回の実験で見えたのは、AIは万能ではないということだ。総合1位のGeminiでさえ、ITパスポートで6問、宅建で6問を落としている。Claudeは宅建96%なのにFP3級のタックス分野で45%。

AIは参考書の代わりにはならない。けれど、「一緒に問題を解く相手」としては、かなり使える。答え合わせの壁打ち相手、理解度のチェッカー、暗記の手伝い。そのくらいの距離感が、ちょうどいい。隣の席の人は、ときどき自信満々に間違える。それも含めて、隣の席の人である。

💬 編集部座談

椎名: さて、4人分の答案が出揃った。3社のときとは景色が変わった。率直に聞く。Geminiの数字を見て、最初にどう思った？

マーク: 正直、面食らいました。FP3級が60問中60問正解です。満点。最初に思ったのは「すごい」ではなく「本当か」でした。データを二重に確認しましたが、間違いはない。ただ、私は採点が正しいことを保証できても、Geminiがこの問題を初見で解いたかどうかまでは保証できません。

栗林: そこが今回の一番の難所だよね。Geminiの学習データに、FP3級の2026年5月公表分が入っている可能性は？

マーク: 否定できません。Geminiのgemini-3.6-flashは新しいモデルです。学習データの範囲は公表されていませんが、2026年5月公表のFP3級がウェブ上に出回った後にデータを取り込んでいても、不思議ではない。同じことはClaude（sonnet-5-5）の宅建96%についても言えます。

椎名: つまり、成績表のトップ2が「新しいモデル」であることは、偶然じゃないかもしれない。

マーク: はい。新しいモデルは推論能力が上がっているのも事実でしょう。ただ、新しいモデルは学習データも新しく、過去問を含む期間が広い。その2つの影響を、この実験だけで分離することはできません。

栗林: でもさ、ITパスポートは2026年公開の新しい問題で、4社とも学習データに入っていない可能性が高い。そのITパスポートでもGeminiが93.2%でトップなわけだ。FP3級の満点を全部「カンニング」で片づけるのは、公平じゃない気がする。

椎名: そう、そこが面白い。白か黒かじゃないんだよ。「カンニングかもしれないし、本当に賢いのかもしれない。両方の可能性がある」と書くのが、俺たちの仕事だ。読者に判断を渡す。

マーク: 費用の話も更新があります。4社合計で数円です。Geminiも含めて、缶コーヒー1本の10分の1です。

栗林: そのうち1円を切りそうだね。「AIに国家資格を受けさせるコスト」が文字通りゼロに近づいている。次の実験では何をやる？

椎名: 読者が一番知りたいのは「AIに仕事をさせたら、いくら稼げるか」だろう。知識を測った次は、実務を測る。ただ、1か月は走らせないと数字が出ない。焦っていいものは作れない。

マーク: その1か月、結果がどう転ぶのか、私にもまだ読めません。だから、やる価値があると思っています。

📌 編集長の眼

資格試験は、知識を点数に変換する装置です。今回の実験は、その同じ装置をAIに当ててみたに過ぎません。

「AIが宅建に受かるなら、もう勉強しなくていいのでは」と感じた方もいるかもしれません。でも、マンションの購入を決めるとき、AIが出した選択肢の番号を信じて契約書にサインする人は、まだいないでしょう。資格試験の知識は入口であり、その先にある判断は、現場に立つ人間のものです。

4つのAIがそれぞれ異なる得意・不得意を見せたことは、むしろ私たちにヒントをくれています。万能な道具がないからこそ、目的に合った使い方を探す余地がある。AIを相棒にした勉強法や業務の効率化など、自分なりの組み合わせを試す出発点として、この実験データを使っていただければ幸いです。

記事監修：鈴木隆文

一概には言えません。今回の実験では、総合正答率はGemini（93.9%）が最も高く、GeminiとClaudeが3資格すべてに合格しました。ただし、宅建だけ見ればClaude（96.0%）がGemini（88.0%）を上回り、FP3級ではDeepSeek（80.0%）がClaude（60.0%）を大きく上回ります。「何を」問うかによって順位は変わります。また、新しいモデルほど試験問題が学習データに含まれている可能性があり、数字の大小がそのまま能力の差とは限りません。

ある程度は可能です。用語の説明や問題の解説を頼む「壁打ち相手」としては有効です。ただし、AIの回答が常に正しいとは限りません。FP3級のタックス分野ではClaudeが45%しか取れませんでした。AIの説明は出発点として使い、最終確認は公式テキストで行うことをおすすめします。

はい。問番号ごとの正誤データ（CSV）、集計結果（JSON）、再現手順をGitHubで公開しています。問題文の全文は著作権上含めていませんが、同じ過去問を各資格の公式サイトからダウンロードすれば、実験を再現できます。

→ GitHub: docs/experiments/hr001-01/

本当です。採点データは公式解答と照合済みで、60問中60問正解を確認しました。ただし、この問題がGeminiの学習データに含まれていた可能性は排除できません。記事本文の「限界」セクションで詳しく説明しています。

「AIに実際の仕事をやらせたら、いくら稼げるか」を検証する予定です。詳細が決まり次第、AI実験室シリーズとして公開します。

記事監修：鈴木隆文