ノートPCでもサクサク動く最新AI──SmallThinker：2025/07/30
- 晋次 宮田
- 2025年7月30日
- 読了時間: 3分
普段我々が使っているChatGPTなど、多くのAIはクラウド上の巨大なサーバーで動いています。
つまり、多くの人はネットがないとAIは使えません。
私はローカル環境にSmalLM3といった小型LLMを入れていますが、それでも高性能GPU環境を持っていないので遅くて遅くて使えません。
ではもし、AIがローカル端末の中で、ネット環境無しでサクサク動いてくれたら、便利なときは絶対あると思います。
「小さくする」のではなく「最初から小さく作る」
これまで、AIをローカルで動かそうという試みはたくさんありました。
でも、その多くは「クラウド用の巨大なAIを圧縮して、なんとか動かす」というもの。
いらない部分を削る
精度をちょっと我慢する
それでも重い
結果、どうしても動作が遅かったり、性能が足りなかったりしていました。
今回紹介する「SmallThinker」はどうやら違うようです。
このモデルは最初からスマホやPCで快適に動かすためにゼロから設計されたAIとのこと。
SmallThinkerとは？──スマホでも動く本格派AI
「SmallThinker」は、中国・上海交通大学とZenergize AIが共同開発した大規模言語モデル（LLM）です。
2025年7月に公開されたばかりですが、すでに世界中で話題になっている模様です。
GPUなし。普通のPCのCPUだけでOK
必要なメモリはたったの1〜8GB
スマートフォンやRaspberry Piでも動作実績あり
1秒あたり20〜100単語（トークン）を生成できる高速性
ということは、理論上約1万円で買える小型PC「Raspberry Pi」でも、SmallThinkerは十分に動くということになります。
必要な機能だけ呼ぶから、ムダがない
SmallThinkerがどうしてそんなに速くて軽いのか？
秘密はその**“合理主義”な設計**にあります。
このモデルは、「Mixture of Experts（MoE）」という仕組みを使っています。
「AIの中には複数の専門家がいて、質問に応じて必要な人だけが答える」
数学の質問をしたら「数学担当の専門家」だけが働きます。残りの専門家たちはお休み。
これで、不要な計算を省いて軽量＆高速化を図っています。
計算の段取り
スマホや小型PCでは、メモリが足りなくなるとデータをSSDなどに“仮置き”します。
SmallThinkerはここも工夫していて、処理の前に「このあと何が必要か」を予測して、事前に必要なデータを読み込みに行くしくみになっているようです。並行処理で先読みという感じです。
動作報告
一般のノートPC（Core i9）で108トークン/秒（4Bモデル）
スマートフォンで21Bモデルが23トークン/秒
Raspberry Pi 5で21Bモデルが6.6トークン/秒
Rockchip RK3588（約100ドル）で従来モデルの21倍速
RedditやGitHub、Hugging Faceで動作報告が結構上がっています。
誰でも試せるのでぜひやってみましょう！私もやってっみます。（またレポートします。）
書き手
名前：Shindy Miyata
所属：SHARE Security（http://security.share-yap.com/）
セキュリティエンジニア
