UCサンディエゴ、LLMの挙動を説明・予測する新フレームワーク「RIFT AI」を発表 Wed, 26 Jun 2024 13:00:00

TechXploreによると、University of California, San Diego（カリフォルニア大学サンディエゴ校、UCサンディエゴ）の研究者たちは、Mikhail Y. Katsevich教授の主導のもと、大規模言語モデル（LLM）の挙動を説明・予測するための新しい理論的フレームワーク「Rational Inattention as a Formal Theory of AI (RIFT AI)」（AIの形式理論としての合理的な注意散漫）を開発した。このフレームワークは、arXiv（物理学、数学、計算機科学などのプレプリントを公開する電子アーカイブ）で発表された論文「Rational Inattention Explains the Behavior of Large Language Models」で提示されており、LLMが人間の認知的な制約と同様に、限られた「注意」リソースのために、関連性の高い情報を優先し、重要性の低い詳細を無視するという原理で動作すると仮定している。

RIFT AIは、LLMが長いプロンプト（指示文）内の主要な情報に焦点を当てる「文脈蒸留（context distillation）」や、無関係な情報がパフォーマンスを妨げる「抑制効果（suppression effect）」といった現象を説明する統一的な数学的理論を提供することを目指す。LLMは人間のように「合理的に注意散漫」であり、計算および情報処理コストを考慮して最適な注意配分を行っていると提案される。

このフレームワークは、GPT-2やLLaMA-2といった複数のモデルと様々なデータセットでテストされ、LLMが文脈的な手がかりに基づいて情報を優先し、意思決定を行う方法を正確に予測する能力が実証された。例えば、研究者たちはRIFT AIを用いて、GPT-2が一連の数字に対してどのように反応するかを予測し、モデルがシーケンスの後半に出現する数字、特に学習済みのパターンに合致する数字に焦点を当てる傾向があることを示した。

この研究は、LLMの信頼性と解釈可能性を向上させる上で重要な意味を持つ。モデルの「注意」の根底にあるメカニズムを理解することで、開発者はより効率的なプロンプト（指示文）を設計し、トレーニング方法を改善し、より堅牢な安全プロトコルを開発できるようになる。研究者たちは、RIFT AIがAIと認知科学の間のギャップを埋める新しい方法を提供し、これらの複雑なモデルがどのように機能するかについて、より直感的で数学的に根拠のある理解をもたらすと強調している。

> 引用元: Researchers develop new framework to explain and predict the behavior of large language models

編集長の眼: AIが「完璧な情報処理装置」だと思っていた方、実は逆です。UCサンディエゴの研究が明らかにした「合理的な注意散漫」という構造は、まるで人間のように、AIも限られたリソースの中で関連性の高い情報を優先し、重要でない詳細を無視していることを示しています。RIFT AIがGPT-2の挙動を正確に予測できたのは、この本質的な制約を捉えたからなのです。AIの知性のポイントは、実は「いかに取捨選択するか」なんです。

TechXploreによると、カリフォルニア大学バークレー校（University of California, Berkeley）とローレンス・バークレー国立研究所（Lawrence Berkeley National Laboratory）の研究者チームが、熱ゆらぎ（熱エネルギーによる原子や分子のランダムな動き）を利用して性能を向上させる新しいAIモデルを開発した。この新しいアプローチは、2024年6月20日付けのニュースで報じられ、『Nature Communications』に掲載された研究で詳細が報告されている。従来のAIシステムが熱ノイズを最小化しようとするのに対し、この「熱力学的AI」は、ナノスケール（10億分の1メートル単位の極めて微細なスケール）での熱の固有のランダム性を活用し、熱ゆらぎからのエネルギーを利用することで、計算効率と適応性を高めることを目指す。

特に確率的推論（不確実な情報に基づいて確率的な結論を導き出すAIの思考プロセス）を含むタスクにおいて有効で、多様な解を探索し、最適な解により効果的に収束させる。研究者たちは、特定の複雑な最適化問題（多数の選択肢の中から最も良い解を見つける問題）において、このモデルが従来のAIアルゴリズムよりも優れた性能を発揮することを実証したと報告しており、AIハードウェアおよびソフトウェア設計における潜在的なパラダイムシフト（根本的な考え方や枠組みの変化）を示唆している。

> 引用元: Researchers develop new AI model that uses heat to improve performance

編集長の眼: 表面上、AI開発はノイズを徹底的に排除し、計算精度を高めるものに見えますが、本質は逆転しつつあります。カリフォルニア大学バークレー校が開発した「熱力学的AI」は、ナノスケールでの熱ゆらぎというランダム性を積極的に活用し、計算効率と適応性を向上させるという力学です。つまり、従来のAIがノイズを敵視していたのに対し、この新モデルはそれを味方につけている。AIの新たな進化は、ノイズを敵ではなく味方にすることです。

The Vergeによると、GoogleはPixelスマートフォンとGoogle Healthアプリ向けに、AIを活用して皮膚の状態を特定する新機能の開発を進めている。この情報は、9to5GoogleによるGoogle HealthアプリのAPK（Androidアプリケーションの配布・インストール形式のファイル）分析によって明らかになった。社内で「Derm Assist」と呼ばれているこの機能は、皮膚、髪、爪の写真をAIで分析し、考えられる状態に関する情報を提供する。ユーザーは症状に関する一連の質問に回答すると、AIが可能性のある状態のリストと共に情報や画像を作成する仕組みだ。Googleは、Derm Assistが診断ツールではなく、専門的な医療アドバイスに代わるものではないと明言している。

なお、Googleは既に同様のウェブベースのAI皮膚科ツールを欧州などで提供しており、これは1億回以上の利用実績があり、EU医療機器認証（欧州連合の医療機器規制に適合していることを示す認証）も取得している。今回の新機能は、このAI皮膚科ツールをPixelデバイスとGoogle Healthアプリに直接統合するものである。Whenは不明、WhereはPixelデバイスとGoogle Healthアプリである。

> 引用元: Google’s Pixel devices could soon let you use AI to identify skin conditions

編集長の眼: 1億回。この数字は、GoogleのウェブベースAI皮膚科ツールが既に社会で広く受け入れられていることを示しています。今回Pixelに搭載される「Derm Assist」は、この成功をモバイルデバイスに持ち込み、「診断ツールではない」と明確に線引きしつつ、ユーザーが専門医を受診する前の「一次スクリーニング」という新たな役割をAIに与えています。GoogleのDerm Assistは、AIが「診断」ではなく「情報提供」で医療アクセスを再設計する好例です。

CNBCによると、欧州連合（EU）は、人工知能規則（AI Act）を執行するため、新機関「EU AI Office（EU人工知能庁）」を5月29日（水）に正式に設立することを発表した。この新庁は、AI開発と導入における信頼性と安全性を確保することを目的としており、違反企業に対して全世界売上高の最大7%、または3500万ユーロ（約59億円）の罰金を科す権限を持つとされている。AI Actの一部は2024年夏に、大部分は2025年半ばに施行される予定であり、罰金権限は2026年から発動される。

同庁は専門家、弁護士、エコノミストを含む140名のスタッフで構成され、高リスクAIシステム（人命に関わる医療や交通などで使用されるAIシステム）の評価、倫理ガイドラインの策定、標準化の支援、EU域内市場の保護といった重要な役割を担う。この動きは、AI技術の急速な発展に伴う潜在的なリスクに対応し、AIのガバナンス（統治）を強化するEUの取り組みの一環である。

> 引用元: New EU AI Office will have 140 staff and can fine firms up to 7% of global revenue

編集長の眼: この動きに対して今すぐできることが一つあります。それは、自社のAI活用戦略とEU AI Actの規制要件を突き合わせ、潜在的な法的・倫理的リスクを洗い出すことです。EU AI Officeが全世界売上高の最大7%という巨額の罰金を科す権限を持つということは、AIガバナンスが企業の競争力に直結する時代が到来したことを意味します。この140名体制の専門チームが、高リスクAIシステムに対してどのような評価基準を適用するのかを理解し、社内体制を再構築することが急務です。

Gizmochinaによると、Apple（米国のテクノロジー企業）は、次世代M4チップをMacラインナップ全体に搭載する大規模なアップグレードを計画しており、特に人工知能（AI）機能に重点を置いている。この新しいチップは、2024年後半から2025年初頭にかけて更新されるMacモデルでデビューする見込みで、まず刷新されたMacBook Proから搭載される可能性がある。M4チップは、「Donan」「Brava」「Hidra」という内部コードネームを持つ少なくとも3つの主要バリエーションが展開されると報じられている。

これらのバリエーションは、エントリーレベルからハイエンドまでの異なるMacモデルに合わせて調整され、「Donan」はエントリーレベルのMacBook Pro、MacBook Air、Mac miniに、「Brava」はハイエンドのMacBook Pro、Mac mini、Mac Studioに、そして「Hidra」はMac Proに搭載される予定だ。Appleは、Intel（米国の半導体メーカー）やMicrosoft（米国のソフトウェア企業）が推進するAI対応PCと同様に、新しいM4搭載Macを「AI PC」として販売することを目指している。その目的は、AIタスクの高速化に特化した「Neural Engine（ニューラルエンジン）」をM4の主要な差別化要因として強調し、AI対応ハードウェアへの需要増大に対応するとともに、PC市場の競合他社と効果的に競争することにある。開発と展開は加速されており、これにより最新のMacラインナップの発売が予定されている。

> 引用元: Apple is planning a major upgrade to its entire Mac line-up with M4 chip ahead of new AI PCs

編集長の眼: AppleがM4チップでMacを「AI PC」として刷新するという動きを調べてみると、AI処理がクラウドだけでなく、エンドデバイス（エッジ）へと本格的にシフトする時代の幕開けであることが見えてきました。特に「Neural Engine」によるAIタスクの高速化は、プライバシー保護、低遅延、オフラインでのAI活用というエッジAIならではの大きなメリットをユーザーに提供します。これは、MacBook ProをはじめとするApple製品が、個人情報のセンシティブな処理をデバイス内で完結させる、新しいAIの形を示しているのです。

The Vergeによると、米国のAI企業Anthropic（アンソロピック）は2024年4月22日月曜日に、同社の最新AIモデル「Claude 3（クローラースリー）Sonnet（ソネット）」を、Amazon Web Services（アマゾンウェブサービス、AWS）が提供する生成AI（GenAI）サービスであるAWS Bedrock（アマゾンウェブサービス・ベッドロック）を通じて提供開始した。この動きは、AnthropicがAmazon（アマゾン）を主要なクラウドプロバイダーとして利用し、AmazonがAnthropicに最大40億ドル（約6,200億円、1ドル155円換算）を投資するという、両社の戦略的提携をさらに強化するもの。

Claude 3 Sonnetは、特にエンタープライズ顧客向けに設計されており、テキストと画像の理解能力を持つマルチモーダルモデルである。AWS Bedrockを介して提供されることで、より多くの企業がAnthropicの先進的なAIモデルを自社のアプリケーションに組み込むことが可能になる。Anthropicは2024年3月にClaude 3ファミリーを発表しており、Opus（オーパス）、Sonnet、Haiku（ハイク）の3つのモデルで構成されているが、Sonnetはその中でもバランスの取れた性能を持つモデルとして位置づけられている。この提供は、AmazonがMicrosoft Azure（マイクロソフトアジュール）やGoogle Cloud（グーグルクラウド）といった競合他社と争う中で、自社のクラウドプラットフォームにおける生成AI提供能力を強化する狙いがある。Anthropicは以前、Google Cloudとも同様の戦略的提携を結んでおり、Inflection AI（インフレクションエーアイ）がMicrosoft Copilot（マイクロソフトコパイロット）の基盤となった事例など、大手クラウドプロバイダーと生成AIスタートアップとの関係深化は業界全体のトレンドとなっている。

> 引用元: Anthropic's Claude 3 Sonnet now available on AWS Bedrock

編集長の眼: なぜAnthropicのClaude 3 SonnetがAWS Bedrockで提供されるのか。答えは、AIモデルとクラウド基盤の間に「垂直統合」という新たな力学が働いているからです。AmazonがAnthropicに40億ドルという巨額投資をする背景には、単なる技術提供だけでなく、AIモデルが特定のクラウド環境に最適化されることで、最高の性能と信頼性を実現できるという深い理由があります。つまり、AIモデルとクラウドの垂直統合は、もはや技術選定ではなく、エコシステム全体の設計が問われる時代を示しています。

この事例は、AI時代を生き抜く上で示唆に富んでいます。「YouTuberがAIでニュース自動投稿」が問いかけるのは、私たちひとりひとりがAIとどう向き合うかという、極めて実践的な問いです。

YouTuberのKEITO氏が、日常のニュース収集と投稿作業にAIエージェント「Manas」を導入しました。以前は手動で行っていたニュースの収集やブログへの投稿に時間がかかっていたところ、Manasの定期タスク機能を活用。毎日朝8時に最新のニュースを自動生成し、仮想コンピューターを通じて自身のノートアカウントにログインして自動的に投稿するように設定しました。これにより、情報発信の手間が大幅に削減され、コンテンツ作成の効率が改善されています。

編集長の目： AIの真価は「奪う道具」ではなく「解放する道具」として機能し得るということです。重要なのは、AIをどんな問いに向けるかという、人間側の設計力です。あなたの日常業務の中にも、今日の事例と同様の「AIで解放できる制約」が必ずあります。 > 出典:

今日を一言で言うなら「AIの知性が『完璧』から『最適化』へとパラダイムシフトしている」です。今日のデータが示すのは、AIがもはやあらゆる情報を完璧に処理する単一の存在ではなく、特定の制約の中で「合理的に注意散漫」になりながら最適化されたり、熱ゆらぎのような「ノイズ」を積極的に活用して適応性を高めたりする、多様な側面を持つ存在として進化している事実です。

この変化は、GoogleのDerm AssistがAIを「診断」ではなく「一次スクリーニング」という役割に最適化し、1億回以上の利用実績を積み上げていることにも表れています。また、Apple M4チップに搭載されるNeural Engineは、AI処理をクラウドからエッジデバイスへと最適化し、プライバシー保護と低遅延を実現しています。さらに、AnthropicのClaude 3 SonnetがAWS Bedrockと垂直統合された動きは、AIモデルが特定のクラウド基盤と一体化することで、その性能と信頼性が最適化されるという構造を明確に示しています。

これだけ見ると、技術の進化は際限なく加速しているように思えますが、EU AI Officeが全世界売上高の最大7%という罰金権限を持つ140名体制で設立された事実は、AIの「最適化」には常に倫理とガバナンスが伴うことを強く示唆しています。これは、技術的な最適化だけでなく、社会的・法的枠組みの中での「最適化」が不可欠であることを教えてくれます。

読者の皆さんが明日から試せる具体的なアクションとして、自社や自分の業務で利用しているAIシステムが「何を重視し、何を意図的に無視しているのか」という「AIの注意配分」を一度立ち止まって分析してみてはいかがでしょうか。この分析を通じて、AIの隠れたバイアスや想定外の挙動を発見し、より堅牢で、かつビジネス目標に合致したAI活用戦略を再設計できるはずです。