Liquid AIから登場した「LFM3-1.7B」をローカル環境で動かしていて、ふと奇妙な思考実験が頭をよぎった。
「もし2015年に今の小型ローカルLLMを持って行ったら、当時のAI研究者たちにどれほどの衝撃を与えるだろうか？」
未来の超巨大モデルを持っていく必要すらない。今の1B〜3Bクラス、手元のノートPCやスマホの上で軽々と動く小型モデルひとつで十分だ。2015年の技術水準から見れば、それだけで物理法則を疑いたくなるほどのオーパーツに見えるはずだ。
何より面白いのは、次の2つの事実が同時に成立する点にある。
- 仕組みの基本原理は理解できる：ニューラルネットワークも誤差逆伝播法も、2015年にはすでに確立していた。
- なぜこんなに高性能なのかはすぐには理解できない：数GB程度の重みファイルで、翻訳、プログラミング、文章生成、論理推論までこなせる事実は、当時の常識から大きく外れている。
未知の物理法則で動く機械ではない。既知の数学の延長線上にあるのに、誰も到達していなかった性能を実現してしまった機械。そのギャップを掘り下げていくと、現代のLLMが抱える本質的な謎が見えてくる。
1. 2015年のAI研究室に持ち込んだら何が起きるか？
2015年当時のAI研究の最前線を振り返ってみよう。この頃はLSTMやSeq2Seqを使った対話モデルの研究が急速に進み始めた時期だった。
Googleの研究チームが発表した論文『A Neural Conversational Model』（Vinyals & Le, 2015）も、会話をエンドツーエンドのニューラルネットワークで生成する画期的な試みとして注目を集めていた。だが同時に、文脈の一貫性の欠如やすぐに破綻する論理など、実用化には深い溝が横たわっていた。自然言語処理の世界では、翻訳、構文解析、要約、対話のそれぞれに専用のモデルを丹念に組み上げるのが当たり前の常識だったのだ。
そこに、2026年の小型ローカルLLMをインストールしたノートPCを持ち込んで見せたら、研究者たちはどう反応するだろうか。
| 研究者に見せる挙動 | 2015年の研究者の推測される反応 |
|---|---|
| 自然な日本語で長時間会話 | 「対話モデルが文脈を失わずにここまで破綻なく続くのか？」 |
| 初見の専門文書を高精度に翻訳 | 「翻訳専用のSeq2Seqではなく、雑談モデルと同じ重みでこの精度なのか？」 |
| Pythonコードを即座に生成・解説 | 「自然言語モデルがプログラミング言語の構文とアルゴリズムまで扱えるのか？」 |
| 数学の解法を論理立てて説明 | 「単なる次の単語の統計的サンプリングではないのか？ 思考しているのか？」 |
| 約1GBの単一モデルファイル | 「世界中の知識や構文規則が、本当にこの1ファイルに収まっているのか？」 |
| ネットワーク接続なしで動作 | 「背後で巨大なクラウドデータベースを検索しているのではないのか？」 |
とりわけ衝撃的なのは、タスクごとに専用モデルを用意していないのに、全く同じパラメータの集合体がこれらすべての作業をこなしてしまうことだ。汎用言語モデルという概念そのものが、当時の研究者にとっては認識のパラダイムシフトになる。
2. 仕組みを解剖すれば理解できるのか？
では、モデルのソースコードと重みを渡し、アーキテクチャを完全に開示したらどうなるだろうか。
結論から言えば、計算の仕組み自体はかなりの部分をすんなり理解できるはずだ。現代のLLMを構成する要素技術の大半は、すでに2015年の時点で出揃っていたからだ。
| 時代区分 | 技術要素 | 2015年時点のステータス |
|---|---|---|
| 2015年以前 | ニューラルネットワーク、誤差逆伝播法、Word2Vec / Embedding、CNN、LSTM、Attentionの萌芽（Bahdanau Attention） | 既知・理解可能 基礎理論としてすでに定着 |
| 2017年登場 | Transformer（Self-Attentionによる並列系列処理） | 当時は未知 ただし数式自体は線形代数とSoftmaxで構成され、完全に解読可能 |
| その後の10年 | 数兆トークン規模の事前学習レシピ、指示チューニング（Instruction Tuning）、RLHF / DPOなどのアライメント、知識蒸留、高度な量子化（4bit / AWQ） | 未確立 経験的スケーリング則と最適化ノウハウの結晶 |
2017年にGoogleが発表した歴史的論文『Attention Is All You Need』で示されたTransformerの構造も、使われている演算は行列積、正規化、活性化関数、そしてSoftmaxに過ぎない。2015年の数学で解読できない数式はひとつもない。
「計算手順」はわかる。どこでどんな掛け算が行われ、どのようにベクトルが変換されているかは完全に追跡できる。
しかし、本当の難問はその先にある。「この極めて単純な行列積の連鎖によって、なぜ文章の文脈理解や論理的な推論能力が立ち現れるのか」という疑問には、コードをどれだけ眺めても答えが書いていないのだ。
3. 最大のミステリー：「なぜ1GBの重みに22兆トークンの知恵が宿るのか」
現代の小型モデルの驚異を象徴する具体例として、冒頭で触れた LFM3-1.7B（Liquid AI）の諸元を見てみたい。
LFM3-1.7Bの4bit量子化モデルのファイルサイズは、メタデータや量子化スケールを含めても1GB前後に収まる。重みだけの理論サイズを計算すると以下の通りだ。
ここで直面するのが、知能の凝縮度に対する直感の破壊だ。約1GBというのは学習データの容量ではない。学習を終えた「パラメータそのものの容量」である。そしてこの小さなファイルは、22兆トークンという気の遠くなるような量の事前学習を経て作られている。
2015年の研究者に「この865MBのファイルには22兆語を読ませた知見が入っている」と伝えたら、おそらく即座には信じてもらえないだろう。なぜなら、その圧縮効率はデータを可逆圧縮する情報理論の常識を遥かに超え、「意味と推論パターンの幾何学的埋め込み」という別次元の領域に達しているからだ。
4. 本当にブラックボックスなのは何か？
現代のディープラーニングにおいて、私たちはモデルの挙動をどこまで理解していて、どこからが分からないのか。理解度を3つの階層に分けて整理すると、その輪郭が浮き彫りになる。
| 探求の問い | 現代の理解度 | 現状の説明 |
|---|---|---|
| 1. どうやって次のトークンを計算しているか？ | ほぼ完全に説明可能 | 入力埋め込み、Attention演算、FFN、活性化関数、Softmax確率出力。すべての計算グラフは既知の数式で1ステップずつ追跡できる。 |
| 2. どうすれば高性能なモデルを学習できるか？ | かなり理解されている（経験則多数） | スケーリング則、コサイン減衰、学習率ウォームアップ、高品質データのフィルタリング、合成データの活用など。再現性の高いレシピが確立している。 |
| 3. なぜ内部で知識や推論能力が形成されるのか？ | 部分的にしか解明されていない | 数億〜数千億の高次元空間でパラメータが協調し、どのような幾何学的構造として事実や推論ロジックを保持しているかは今なお最前線の研究課題。 |
たとえばモデルに「日本の首都は？」と尋ねて「東京」と返ってきたとする。だが、モデルの内部の特定の重みアドレスに「日本 → 首都 → 東京」というリレーショナルデータベースのような明示的なレコードが存在するわけではない。
知識は数億個のニューロンに広く薄く分散して表現されている（Distributed Representation）。特定のニューロンを覗いても意味のある数字は見えず、それらが連動した高次元の射影ベクトルとして初めて意味が立ち現れる。
さらに不思議なのは、未経験のパズルや初見のプログラミング課題に直面したときだ。事前学習の文章予測をただ最適化しただけのネットワークが、なぜ未知の論理の組み立てにまで適応できるのか。統計的パターン認識の極限が、なぜ演繹的・帰納的な推論の振る舞いへと跳躍するのか。この一般化能力（Generalization）の本質は、2026年のAIリサーチャーにとっても解明しきれていない領域なのだ。
5. 2015年に持ち込んで歴史を変えられるか？
仮にタイムマシンで2015年にこの1GBのファイルと推論用スクリプトを持ち込んだとして、当時の研究者たちはすぐに同じものを作れるだろうか？
答えはおそらく「すぐには作れない」だ。
推論コードとモデルウェイトがあれば、フォワードプロパゲーションを走らせて動かすことはできる。リバースエンジニアリングしてアーキテクチャの構造を論文にまとめることもできるだろう。
しかし、ゼロから同じモデルを再学習しようとした瞬間、ハードウェアとデータの巨大な壁に直面する。2015年のフラグシップGPUはNVIDIA GeForce GTX TITAN X（Maxwell世代、12GB VRAM）やTesla K40だった。22兆トークンもの膨大な学習ステップをこなすには、当時のクラスタ規模では電力も計算時間も桁違いに不足している。
もしアーキテクチャの青写真、データセットのフィルタリング手法、指示チューニングの手順、量子化アルゴリズムをすべてセットで渡せば、研究開発の針を5年から8年は前倒しできるかもしれない。だが、高性能なAIを生み出すには、理論だけでなく計算資源とデータの暴力的なスケールが不可欠であるという身も蓋もない現実を、当時の研究者は突きつけられることになる。
結び：11年を経ても解けない「共通の謎」
この思考実験を通じて一番感慨深いのは、2015年の研究者と2026年の私たちが、最も深い部分で同じ疑問を共有しているという事実だ。
2015年の研究者がLFM3-1.7Bを見て「なぜこの行列の数値群がこれほど賢く会話できるのか？」と呆然とするとき、現代の私たちもまた、本質的には同じ問いの前で首を傾げている。
過去11年間で、モデルを「学習させる技術」や「小型化して高速に推論させる技術」は人間業とは思えないスピードで進化した。RTX 4070のような家庭用GPUや手元のスマートフォンで1GBのモデルが毎秒何十トークンも吐き出し、実用的な翻訳やコーディング支援をこなす日常が現実になった。
だが、「なぜそれが知能として成立するのか」というニューラルネットワークの表現論は、依然として解き明かされるのを待っている。
2015年の研究者にとって未知のオーパーツに見える1GBの重みファイル。それは2026年の私たちにとっても、数学の皮を被ったもっとも美しく不可解なブラックボックスであり続けているのだ。
関連記事・プロジェクト
本サイトでは、さらに極小サイズ（0.09B / 18MB）を追求したオンデバイスAIや、ローカルLLMの実測ベンチマークを公開しています。