1. 「SLM（小型モデル）」全盛の時代がやってきた
2026年現在、AI業界のトレンドは明らかな転換点を迎えています。数百億〜数千億パラメータを誇る巨大なクラウドLLM一強の時代から、0.5B〜14Bクラスの「SLM（Small Language Model / 小型言語モデル）」を、手元のPCやスマートフォン、ブラウザ上で軽快に走らせるオンデバイスAIが主流になりつつあります。
クラウドAPIの従量課金を回避し、プライバシーを完全に端末内で担保し、ネットワーク遅延のないゼロレイテンシ推論を実現する。この潮流自体は、私が長年追求してきた方向性と完全に一致しています。
しかし、ここでひとつの疑問が浮かびます。「世間で言われている0.5B〜3BのSLMは、本当に日常のあらゆるアプリで実用的なのか？」という点です。
2. IME（日本語入力）という過酷すぎる戦場
チャットボットや要約ツールであれば、最初のトークンが出るまでに200ms〜500ms待たされてもユーザーは許容してくれます。しかし、文字入力（IME）は全く別の世界です。
また、メモリ消費も無視できません。0.5B〜1Bのモデルを4bit量子化しても、最低でも300MB〜600MB前後のVRAMやRAMを常時占有します。バックグラウンドで常に立ち上がっているIMEがメモリを数百MB食い潰し、バッテリーを削り、GPUファンを回すようでは、常用アプリとしての失格を意味します。
3. だからこそ「18.7MiB / 0.09B」を狙い撃った
ZeroConvert-IMEで採用したアプローチは、世間のSLMのトレンドよりもさらに2桁小さい**「極小モデルへの特化」**でした。
- ZeroCon Model Nano v4: わずか26.7Mパラメータ、ファイルサイズ18.7 MiB。Androidスマホや低スペックPCでもCPUのみで瞬時に動作。
- ZeroCon Model Standard v4: 90M（約0.09B）パラメータ。より深い文脈理解とタイポ補正、先読みアシストを高精度に両立。
「なんでも答えられる汎用AI」を目指すなら0.09Bは無力です。しかし、「日本語の読みから漢字仮名交じり文への変換・文脈推定・タイポ訂正」というドメイン特化タスクに全パラメータを集中投下すれば、わずか18MBでも商用IMEに迫る驚異的な変換精度と実用速度を叩き出すことができます。
4. 極小モデルを実用化するための3つの工夫
パラメータ数をここまで削ると、当然ながら「表現力の不足」や「局所的なバグ」に直面します。これを乗り越えるために導入したのが以下の3つの技術的工夫です。
- Target-Corrected 知識蒸留: 巨大モデルの推論ログからただ真似るのではなく、日本語特有の同音異義語や助詞の繋がりを集中的に矯正する蒸留パイプラインを構築。
- Weight-Space Programming（重み空間プログラミング）: 先日の記事でも紹介した通り、再学習によるカタストロフィック忘却を起こさずに、特定の変換バグだけを重み直接編集でピンポイント修正。
- ストリーミング確定エンジン: キーを叩いた瞬間に確定できる確信度の高いトークンだけを先行コミットし、推論の負荷を時系列に分散。
5. まとめ：エッジAIの未来は「小ささ」にある
モデルを大きくして賢くするのは、計算資源さえあれば誰でもできます。しかし、「日常の道具として違和感なく溶け込むサイズまで削ぎ落とし、ローカルで完結させる」ことこそが、エンジニアリングの最大の醍醐味だと感じています。
クラウドに一切データを送らず、打鍵遅延0msで変換キーを押す動作そのものをなくしていく――この挑戦の成果を、ぜひ一度Windows / Android版のZeroConvert-IMEで体験してみてください。