サンズラボにおけるオンプレミスsLLMの構築について
1. はじめに
［目次］
1. はじめに
2. オンプレミスsLLM
- 2.1 オンプレミス、クラウド、閉域網の違い
- 2.2 sLLMとは
- 2.3 オンプレミスsLLM
3. オンプレミスsLLMの構築
4. サンズラボのオンプレミスsLLM構築プロセス
1. はじめに
本レポートは、サンズラボが受注したIITPの「サイバーセキュリティに特化したオンプレミスsLLM（small large language model）事業」を遂行する中で開発した、オンプレミスsLLMについてまとめたものです。本事業は、サイバーセキュリティ分野へのAI技術の適用を通じて、より安全な企業環境を実現することを目指しています。
オンプレミスsLLMについて説明するには、まず以下の点を押さえる必要があります。
第一に、オンプレミスsLLMとは何か。
第二に、オンプレミスsLLMはどのように構築するのか。
本レポートでは、この2点について詳しく説明します。
2. オンプレミスsLLM
オンプレミスsLLMを説明する前に、「オンプレミス」と「sLLM」について説明します。
オンプレミスとは、ソフトウェアやデータを企業内部のサーバーとインフラに設置し、運用する方式です。オンプレミスは、クラウドや閉域網とは異なる概念であることを理解する必要があります。
2.1 オンプレミス、クラウド、閉域網の違い
では、オンプレミス、クラウド、閉域網には、それぞれどのような違いがあるのでしょうか。
2.1.1 オンプレミス
オンプレミスとは、自ら環境を構築すること、すなわち企業内にサーバーを設置して運用することを指します。
一般的には、クラウドという概念が登場する前に、多くの企業が採用していた方式と考えると分かりやすいでしょう。この方式はセキュリティ水準が高く、直接管理しやすい一方、その分多くのリソースと人員を必要とします。また、初期構築費用が高く、保守にも多くの費用と時間がかかります。
一方、機密性の高いデータを直接管理できる点で、高いセキュリティを提供します。
オンプレミスのもう1つの利点は、用途に合わせてシステムを構成できることです。企業固有の要件を反映してシステムを設計し、必要な機能を追加できます。例えば、特定のセキュリティポリシーを適用したり、社内規定に沿ったデータ管理方式を採用したりできます。このようなカスタマイズされたシステムは、企業の業務効率向上とセキュリティ強化に大きく貢献します。
2.1.2 クラウド
クラウドとは、AWSやAzureなどの大手企業が提供するサービスを契約し、必要なリソースを借りて利用する形態を指します。
近年、多くの企業が利用している形態でもあります。クラウドは初期構築費用が少なく、必要な分だけリソースを利用できるため、費用対効果に優れています。また、拡張性と柔軟性が高く、いつでもどこからでもアクセスできます。ただし、データが外部サーバーに保存されるため、セキュリティ上の懸念に注意する必要があります。
クラウドサービスは、企業が容易にアプリケーションを開発・展開できるよう、さまざまなツールや機能を提供します。例えば、機械学習モデルの学習と展開に必要なインフラや、データ分析用のツールを提供します。これらを活用すれば、企業は複雑なインフラを自ら構築することなく、迅速かつ効率的にサービスを開発できます。
2.1.3 閉域網
閉域網とは、外部のインターネットから完全に遮断されたネットワーク環境と考えると分かりやすいでしょう。
軍のイントラネットがその一例です。閉域網は外部との接続がないため、非常に高いセキュリティを備えています。一方、ネットワークの維持・運用には多くの費用とリソースが必要で、外部とのデータ交換ができないという欠点があります。
閉域網環境の強みは、外部の脅威からデータを厳重に保護できることです。しかし、外部との接続がないため、最新のソフトウェア更新やセキュリティパッチの適用が難しいという課題もあります。そのため、閉域網では内部のセキュリティ管理と保守について綿密に計画する必要があり、使用するソフトウェアやシステムも外部に依存しないよう設計しなければなりません。
2.2 sLLMとは
Transformerの登場以来、LLMの進歩は世界を驚かせています。
GPT-3.5をはじめ、数多くのLLMが登場しました。しかし、LLMが巨大化する一方で、利用者のハードウェア性能はそれに追いついていないのが実情です。そこで利用者は、自分の環境で動作させ、必要な機能だけを実行できるよう、LLMの「軽量化」を進めました。そして、従来のLLMよりも小さいモデルを作り、「sLLM（小規模言語モデル）」と呼ぶようになりました。一般的にsLLMは、パラメータ数が1000億個未満のモデルを指します。
sLLMは、従来の大規模LLMに比べて、少ないリソースで同等に近い性能を提供できることが特徴です。これは特に、ハードウェアリソースが限られた環境で有用です。また、特定のドメインに合わせて学習させることで、個別の業務に最適化した性能を発揮できます。例えば医療分野では、患者の病歴データを分析して診断を支援するsLLMを開発でき、金融分野では、取引データを分析して異常な取引を検知するsLLMを開発できます。
sLLMのもう1つの利点は、学習と推論が高速であることです。大規模LLMは膨大なデータを処理するために多くの時間を要しますが、sLLMは軽量な構造によって、より高速にデータを処理できます。これは、リアルタイムの応答が重要なアプリケーションで特に有用です。
2.3 オンプレミスsLLM
ここまでで、「オンプレミスsLLM」という言葉が何を意味するのかが分かりました。
つまり、OpenAIのような大手企業が提供するLLMではなく、企業内部に直接構築した、オンプレミスの小規模LLM（sLLM）です。
では、企業はなぜオンプレミスsLLMを構築しようとするのでしょうか。
その目的は、社内機密情報の漏えいを防ぐことにあります。
多くの企業は、内部情報が外部に流出することを避けたいと考えています。クラウド型のOpenAIサービスを利用する場合、企業内部の情報漏えいという課題に直面します。そのため、「OpenAIと同様の性能を備え、社内だけで利用できる、自社向けのGPTがほしい」というニーズが生まれます。
オンプレミスsLLMは、企業内部のデータと統合することで、より適切な専用ソリューションを提供できます。
例えば、特定の業務に特化したデータでモデルを学習させれば、その業務において、より正確で効率的な結果を得られます。
したがって、企業のITインフラとデータセキュリティポリシーを考慮してオンプレミスsLLMを構築すれば、生産性と効率性を大きく向上させることができます。
そのためには、まず企業のデータ環境を分析し、必要なハードウェアとソフトウェアを設計する工程が必要です。その後、sLLMモデルを学習させ、社内システムへ統合する工程が続きます。
3. オンプレミスsLLMの構築
オンプレミスsLLMを構築する際に考慮すべき点は、企業の規模と予算です。
1. 小規模な企業には、オープンソースのsLLMを利用することを推奨します。
この場合、無料で利用できるさまざまなオープンソースLLMを活用して、基本的な機能を実装できます。例えば、Llama3のようなオープンソースモデルは高い性能を備え、無料で利用できるため、少ない予算でもモデルを構築できます。
2. 社内情報を使ってVectorDB（ベクトルデータベース）を構築できる場合は、RAG（Retrieval-Augmented Generation、検索拡張生成）を導入できます。RAGは検索技術と生成技術を組み合わせ、より正確で有用な情報を提供する手法です。VectorDBを構築すれば、社内の膨大な文書データを効率よく検索し、それに基づいて正確な回答を生成できます。
3. sLLMのファインチューニングが可能な企業には、自社向けに調整したsLLMを活用してRAGを構築することを推奨します。
この場合、特定の業務に合わせてモデルを学習させ、それに基づいて、より正確な情報を提供できます。例えば、企業固有の要件に合わせたQ&AデータセットでsLLMをファインチューニングすると、より精度の高い回答を得ることができます。
これらの選択肢の中で、筆者は2番を推奨します。例えば、オープンソースモデルのLlama3は、現在ではGPT-3.5に近い性能を示しており、VectorDBを構築するための埋め込みモデルも進歩しています。
したがって、社内にVectorDBを構築し、オープンソースLLMを利用する方法が、現実的には最も費用と時間を抑えられる選択肢となります。
ここで、次のような疑問が生じるかもしれません。
「RAGを使ってモデルの回答精度を高められるなら、ファインチューニングは不要なのでしょうか。」
答えは、「企業の状況と、どのドメインでRAGを構築するかによって異なります」ということです。
サンズラボが構築した、サイバーセキュリティに特化したオンプレミスsLLMとのやり取りを例に説明します。
Q：test.exeファイルが悪性かどうかを分析し、分析結果を要約して説明してください。
上図のように、Llama3はサイバー脅威インテリジェンスCTX.ioのAPIを使用してtest.exeの分析を依頼し、その結果を受け取って回答します。ただし、CTX.ioの分析結果は通常、長いJSONデータです。
Llama3にはトークン数の制限があるため、このように大量のデータを渡すと回答できません。
このようなデータに基づいて回答するには、オープンソースLLMのファインチューニングが必要になる場合があります。
ファインチューニングには、さまざまなQ&A（質問と回答）のデータセットを用意する必要があります。
サンズラボは現在、膨大なサイバー脅威の分析データに基づくQ&Aデータセットを構築しています。これにより、企業の要件に合った、サイバーセキュリティ特化型のオンプレミスsLLMを構築できます。オンプレミスsLLMを導入することで、企業内部のデータセキュリティをさらに高め、外部の脅威やデータ漏えいといった問題の予防につなげられます。
4. サンズラボのオンプレミスsLLM構築プロセス
サンズラボのオンプレミスsLLM構築プロセスは、以下のとおりです。
要件分析：企業の要件を詳細に分析し、必要な機能と性能を定義します。
インフラ設計：要件に合わせて最適なインフラを設計し、必要なハードウェアとソフトウェアを選定します。
モデル学習：企業のデータとドメイン知識を反映してsLLMを学習させます。
システム統合：学習済みモデルを企業の既存システムに統合し、円滑に動作するようにします。
テストと検証：構築したシステムを徹底的にテストし、要求された性能と機能を満たしていることを確認します。
保守：システムを安定して運用できるよう、継続的な保守と更新を提供します。
サンズラボは、体系的な構築プロセスと独自の分析技術などを通じて、お客様のニーズに最適なオンプレミスsLLMソリューションを提供しています。
今後もサンズラボは、AI技術によってお客様のビジネスを革新し、より安全なサイバーセキュリティ環境を実現するため、継続して取り組んでまいります。
