ローカルLLMとは、クラウドのサービスを通さず、自社のパソコンやサーバーの上で動かす大規模言語モデル（LLM）のことです。
入力した文章やファイルを社外に送らずに処理できます。
仕組み
Metaの「Muse Glimmer」など、重み（学習済みのデータ）が公開されたモデルをダウンロードし、Ollamaやllama.cppといった実行用のソフトで動かします。
大きなモデルはそのままでは多くのメモリを必要とするため、重みを4ビット程度に圧縮する「量子化」で、一般的なパソコンでも動く大きさにして使うのが一般的です。
メリット
データが社外に出ないため、機密情報や個人情報を扱う業務にも使いやすくなります。
また、使った量に応じた料金がかからず、インターネットにつながらない環境でも動かせます。
注意点
動かすには、十分なメモリを持つGPUやMacなどの機器が必要です。処理の速さや答えの質は機器とモデルの大きさに左右され、クラウドの大型モデルに及ばない作業もあります。
用途を絞り、クラウドのAIと使い分けるのが現実的です。
▼略歴
- 東京都世田谷区生まれ
- 経営・財務の分野を学び、建設・不動産業界にて経理部に在席。
- 家電メーカーにて直営店舗の運営やマーチャンダイザーを経験。PCのBTOビジネス推進やホームネットワークの普及推進、デジタル家電活用のセミナー講師、直営の免税店を経験。同時に、グループ企業のWEBマスターとして、ポータルサイト、eコマースサイトの制作・運営、情報セキュリティマネジメント、ナレッジマネジメントを推進。
- 家電量販店にて情報部門リーダー、都心店舗の店長を経験。その後、店舗開発部で新店舗出店時のレイアウト設計やスタッフの育成、出店準備、VMDの企画・制作などを歴任。
- システムインテグレーターとして、手術室及び血管造影室の画像・映像配信システムの開発・設計、エンジニアリングを担当。さらに、遠隔手術支援システムの企画・開発を担当し、専門誌へ医師の偏在問題に関する論文を寄稿。また、医療向けシステムやフェリーの設備を安全にリモートメンテナンスするソリューションを開発・運用。その後、会社のリブランディングプロジェクトへの参画、デジタルマーケティング組織の立ち上げ、メディカル組織のマネジメントを経験。
- 論文 医師偏在の課題と向き合う遠隔手術支援ソリューション（CiNiiで検索）
- 論文 手術室の生産性向上に貢献する医療映像ソリューション（CiNiiで検索）
- 現在、企業向けにIT技術者育成セミナー（ネットワーク／ウェブデザイン等）を主催しております。
