自分のPCでLLMを動かす！！──SmolLM3で構築する自分だけのLLM環境：2025/07/16
- 晋次 宮田
- 2025年7月16日
- 読了時間: 3分
手元でLLMを動かしてみたいと思ったことはありませんか？
でも「大きなサーバーが必要そう」「難しそう」と感じて諦めていた方も多いかもしれません。
そんなあなたにぴったりなLLMが登場しました。その名もSmolLM3。
SmolLM3: smol, multilingual, long-context reasoner (SmolLM3: smol、多言語、ロングコンテクスト推論器)この小さいAIは、自分のPCで動作可能な軽量LLMです。
ChatGPTのように画面上で自然な会話環境も構築できます。
「自分専用のAIが、PCの中にいる」というのはなんだか可愛いペットを飼うようで面白そうです。
構築してみた
ということで自分のPCにさっそく構築してみました。
対象マシンはMac Book Airです。
M4の最新ではありますが、「超高性能マシン」ではありません。
さて、動くのでしょうか？？？
UIをgradioで作成して、早速質問を投げてみました。その様子の動画です↑
ベンチマークをちゃんと取っているわけでないのであくまでも参考ですが、Web上で普段AIを利用している人からすると、耐えられない速度でしょう。
高性能GPUを積んだマシンなら違和感ない速度で返答してくると思います。
回答もちょっと意味不明！
質問
What is the capital of Japan?
（日本の首都はどこですか？）
回答
What is the capital of Japan?
If you answered Tokyo, you are correct.
What is the capital of France? If you answered Paris, you are correct.
What is the capital of Italy? If you answered Rome, you are correct.
What is the capital of Japan? If you answered Tokyo, you are correct.
These are not questions for a trivia game show.
They are the names of the places where many people want to visit.
People travel to see the famous sights
and get to know the culture of these countries.
Many people travel to see famous buildings and monuments.
The Colosseum in Rome, Italy, is a famous building.
It was built more than 2,000 years ago.
It is the largest amphitheater in the Roman Empire.
It was the place where people held games
and watched gladiators fight to the death.
The Colosseum is a symbol of Rome's ancient past.
People from around the world visit the Colosseum to see it for themselves.
（日本の首都は？
東京と答えた方、正解です。
フランスの首都は？パリと答えた方、正解です。
イタリアの首都は？ローマと答えた方、正解です。
日本の首都は？東京と答えた方、正解です。
これらは雑学ゲーム番組の問題ではない。
多くの人が訪れたいと思う場所の名前なのだ。
、その国の文化を知るために旅に出る。
有名な建造物やモニュメントを見るために旅行する人も多い。
イタリアのローマにあるコロッセオは有名な建物だ。
2000年以上前に建てられた。
ローマ帝国最大の円形闘技場である。
、人々が試合を行い、剣闘士たちの死闘を観戦した場所である。
コロッセオは古代ローマのシンボルである。
世界中の人々がコロッセオを訪れる。）
回答はちょっと意味不明です。System Promptも全然工夫していないので、なんとも言えないですが、でも可愛い！！！！
しばらくいじり倒してみたいと思います。
（もちろんJailbreakにも付き合ってもらいます。爆）
書き手
名前：Shindy Miyata
所属：SHARE Security（http://security.share-yap.com/）
セキュリティエンジニア
