샌즈랩의 On-Premise sLLM 구축에 관하여
1. Introduction
[목차]
1. Introduction
2. On-Premise sLLM
- 2.1 On-Premise, 클라우드, 폐쇄망의 차이
- 2.2 sLLM 이란?
- 2.3 On-Premise sLLM
3. On-Premise sLLM 구축
4. 샌즈랩의 On-Premise sLLM 구축 프로세스
1. Introduction
본 글은 샌즈랩에서 수주한 IITP 과제 '사이버 보안 특화 On-Premise(온프레미스) sLLM(small large language model) 사업'을 수행하면서 개발한 On-Premise sLLM에 대한 내용을 정리한 리포트입니다. 본 사업은 사이버 보안 영역에서의 AI 기술 적용을 통해 보다 안전한 기업 환경을 조성하는 것을 목표로 합니다.
기본적으로, On-Premise sLLM을 이야기하기 위해서는 아래와 같은 내용이 필요합니다.
첫 번째. On-Premise sLLM이 무엇인가?
두 번째. On-Premise sLLM 구축은 어떻게 하는가?
본 리포트에서는 위 두 가지 대하여 자세히 설명하고자 합니다.
2. On-Premise sLLM
On-Premise sLLM을 설명하기에 앞서 On-Premise와 sLLM에 대하여 설명하겠습니다.
On-Premise는 소프트웨어나 데이터를 기업 내부의 서버와 인프라에 설치하고 운영하는 방식입니다. 여기서 On-Premise는 클라우드(cloud), 폐쇄망(closed network) 과는 다른 개념인 것을 알아야 합니다.
2.1 On-Premise, 클라우드, 폐쇄망의 차이
그렇다면 On-Premise, 클라우드, 폐쇄망은 각각 어떤 차이가 있을까요?
2.1.1 On-Premise
On-Premise는 자체적으로 구축한 것, 즉 기업 내 서버를 구축하고 운영하는 것을 말합니다.
일반적으로 클라우드 개념이 나오기 전에 대부분의 기업에서 사용하던 방식이라고 생각하면 됩니다. 이러한 방식은 보안 수준이 높고 직접 컨트롤하기 쉽지만, 그만큼 자원과 인력 소모도 크다는 단점이 있습니다. 또한, 초기 구축 비용이 많이 들고, 유지 보수에도 많은 비용과 시간이 요구되죠.
하지만 민감한 데이터를 직접 관리할 수 있다는 점에서 높은 보안성을 제공합니다.
On-Premise의 또 다른 장점은 사용자 맞춤형으로 시스템을 구성할 수 있다는 점입니다. 기업의 특정 요구사항을 반영하여 시스템을 설계하고, 필요한 기능을 추가할 수 있습니다. 예를 들어, 특정 보안 정책을 적용하거나, 내부 규정에 맞춘 데이터 관리 방식을 채택할 수 있습니다. 이러한 맞춤형 시스템은 기업의 운영 효율성을 높이고, 보안성을 강화하는 데 크게 기여할 수 있습니다.
2.1.2 클라우드
클라우드는 AWS, Azure와 같은 거대 기업에서 제공하는 서비스를 구독하고, 필요한 리소스를 빌려 사용하는 형태를 이야기합니다.
최근에는 대부분의 기업에서 사용하는 형태이기도 합니다. 클라우드의 장점은 초기 구축 비용이 적고, 필요한 만큼만 리소스를 사용할 수 있어 비용 효율적이라는 것입니다. 또한, 확장성과 유연성이 뛰어나며, 언제 어디서나 접근이 가능합니다. 그러나 데이터가 외부 서버에 저장되기 때문에 보안에 대한 우려가 있을 수 있기에 주의해야 합니다.
클라우드 서비스는 다양한 도구와 기능을 제공하여, 기업이 쉽게 애플리케이션을 개발하고 배포할 수 있게 도와주는 역할을 합니다. 예를 들어, 머신러닝 모델을 훈련시키고 배포하는 데 필요한 인프라를 제공하거나, 데이터 분석을 위한 도구를 제공합니다. 이러한 도구를 활용하면, 기업은 자체적으로 복잡한 인프라를 구축할 필요 없이, 빠르고 효율적으로 서비스를 개발할 수 있습니다.
2.1.3 폐쇄망
폐쇄망은 외부 인터넷과 완전히 차단된 네트워크 환경이라고 생각하면 됩니다.
예시로 군대의 인트라넷이 있습니다. 폐쇄망은 외부와의 연결이 없기 때문에 보안성이 매우 높지만 그러나 망을 유지하고 운영하는 데에는 많은 비용과 자원이 필요하며, 외부와의 데이터 교환이 불가능하다는 단점이 있습니다.
폐쇄망 환경에서는 외부의 위협으로부터 데이터를 철저히 보호할 수 있다는 것이 강점입니다. 하지만 외부와의 연결이 없기 때문에 최신 소프트웨어 업데이트나 보안 패치를 적용하는 데 어려움도 뒤따르죠. 따라서 폐쇄망 환경에서는 내부 보안 관리와 유지 보수에 대한 철저한 계획이 필요하며, 폐쇄망에서 사용하는 소프트웨어나 시스템은 외부와의 의존성이 없도록 설계되어야 합니다.
2.2 sLLM 이란?
트랜스포머(Transformer)가 나온 이래로 LLM의 발전은 전 세계를 놀라게 하고 있습니다.
GPT-3.5를 시작으로 수많은 LLM 모델들이 세상에 모습을 드러냈죠. 하지만, 점점 거대해져가는 LLM에 비해 사용하고자 하는 사용자의 하드웨어 성능은 따라가지 못하고 있는 실정입니다. 이에 사용자들은 본인이 사용할 수 있게, 본인이 원하는 기능만 수행하도록 LLM을 '경량화'하기 시작했고, LLM보다는 '작은(small)' LLM 모델을 만들어 'sLLM(소형 언어 모델)'이라 부르기 시작했습니다. 통상 sLLM은 매개변수가 1000억 개 미만일 경우를 뜻합니다.
sLLM은 기존의 대형 LLM 모델과 비교하여 더 적은 자원을 사용하면서도 유사한 성능을 제공하는 것이 특징입니다. 이는 특히 하드웨어 자원이 제한된 환경에서 매우 유용합니다. 또한, sLLM은 특정 도메인에 맞추어 훈련할 수 있어 특정 업무에 최적화된 성능을 발휘할 수 있습니다. 예를 들어, 의료 분야에서는 환자의 병력 데이터를 분석하여 진단을 지원하는 sLLM을 개발할 수 있으며, 금융 분야에서는 거래 데이터를 분석하여 이상 거래를 탐지하는 sLLM 개발이 가능합니다.
sLLM의 또 다른 장점은 훈련과 추론 속도가 빠르다는 점입니다. 대형 LLM 모델은 방대한 데이터를 처리하는 데 많은 시간이 소요되지만, sLLM은 경량화된 구조 덕분에 더 빠르게 데이터를 처리할 수 있기 때문입니다. 이는 실시간 응답이 중요한 애플리케이션에서 특히 유용합니다.
2.3 On-Premise sLLM
이제 우리는 'On-Premise sLLM'라는 단어가 어떤 것을 의미하는지 알게 되었습니다.
즉, OpenAI와 같은 거대 기업이 제공하는 LLM이 아닌, 기업 내부에 직접 구축한 (On-Premise) 소형 LLM (sLLM)인 것이죠.
그렇다면 왜, 기업에서는 On-Premise sLLM을 구축하려고 하는 것일까요?
이는 내부 기밀 유출 방지에 있습니다.
대다수의 기업은 내부 정보를 외부로 유출하는 것을 꺼립니다. 만약 클라우드 기반의 OpenAI를 사용할 경우 기업의 내부 정보 유출에 대한 문제를 직면하게 됩니다. 이에 'OpenAI와 같은 성능을 갖추고, 우리 기업 내부에서만 활용할 수 있는 맞춤형 GPT가 있으면 좋겠다.'와 같은 니즈가 발생하게 되죠.
On-Premise sLLM은 기업 내부의 데이터와 통합해 더 나은 맞춤형 솔루션을 제공할 수 있습니다.
예로, 특정 업무에 특화된 데이터를 사용하여 모델을 훈련시키면, 해당 업무에 대해 좀 더 정확하고 효율적인 결과를 얻을 수 있습니다.
따라서 On-Premise sLLM의 구축 시 기업의 IT 인프라와 데이터 보안 정책을 고려한다면, 이는 기업의 생산성과 효율성을 크게 향상시킬 것입니다.
이를 위해서는 먼저 기업의 데이터 환경을 분석하고, 필요한 하드웨어와 소프트웨어를 설계하는 과정이 필요합니다. 이후, sLLM 모델을 훈련시키고, 이를 기업 내부 시스템에 통합하는 과정이 뒤따릅니다.
3. On-Premise sLLM 구축
On-Premise sLLM을 구축하기 위해서 고려해야 할 사항은 기업의 규모와 예산입니다.
1. 소규모 기업의 경우 오픈 소스 sLLM를 사용하는 것을 추천합니다.
이 경우, 무료로 사용할 수 있는 다양한 오픈 소스 LLM 모델들을 활용하여 기본적인 기능을 구현할 수 있습니다. 예를 들어, Llama3와 같은 오픈소스 모델은 높은 성능을 제공하면서도 무료로 사용할 수 있어 적은 예산으로도 모델 구축이 가능합니다.
2. 기업 내부 정보를 가지고 VectorDB(벡터 데이터베이스)를 구축할 수 있다면 RAG(Retrival-Augmented Generation, 검색 증강 기법)을 도입할 수 있습니다. RAG는 검색 기술과 생성 기술을 결합하여, 더욱 정확하고 유용한 정보를 제공할 수 있는 기법입니다. VectorDB를 구축하면, 기업 내부의 방대한 문서 데이터를 효율적으로 검색하고, 이를 기반으로 정확한 답변을 생성할 수 있습니다.
3. sLLM 파인튜닝(Fine-Tuning)이 가능한 기업은 기업 맞춤형 sLLM을 활용한 RAG 구축을 추천합니다.
이 경우, 특정 업무에 맞춤형으로 모델을 훈련시키고, 이를 기반으로 더욱 정확한 정보를 제공할 수 있습니다. 예를 들어, 기업의 특정 요구에 맞춘 Q&A 데이터셋을 사용하여 sLLM을 파인튜닝한다면, 더욱 높은 정확도의 답변을 받아볼 수 있습니다.
위 항목 중 필자가 추천하는 것은 2번입니다. 예를 들어 오픈소스 모델인 Llama3는 이제 GPT-3.5와 거의 유사한 성능치를 보이고 있으며, 이와 더불어 VectorDB를 쌓기 위한 임베딩 모델도 발전하고 있습니다.
따라서, 사내에 VectorDB를 구축하고 오픈소스 LLM 모델을 사용하는 것이 현실적으로 가장 적은 비용과 시간이 소요됩니다.
그렇다면, 다음과 같은 질문을 할 수 있습니다.
“오... RAG를 사용해 모델의 답변 정확도를 높일 수 있다면 파인튜닝은 필요 없는 것인가?”
답은, '기업의 상황 그리고 어떤 도메인 하에서 RAG를 구축하느냐에 따라 다르다'입니다.
샌즈랩이 구축한 사이버 보안 특화 On-Premise sLLM 과의 질답을 예로 설명하겠습니다.
Q : test.exe 파일에 대하여 악성인지 분석하고 분석 결과 요약 설명해 줘.
위 그림과 같이 Llama3는 사이버 위협 인텔리전스 CTX.io API를 사용하여 test.exe 파일 분석을 요청하고 그 결과를 전달받아 답변합니다. 하지만, 일반적으로 CTX.io의 분석 결과는 장문의 JSON 데이터입니다.
Llama3는 토큰 제한이 존재하기에 위와 같이 많은 양의 데이터를 전달할 경우 Llama3는 답변하지 못합니다.
이러한 데이터들을 답변하기 위해서는 오픈소스 LLM 모델의 파인튜닝이 필요할 수 있습니다.
파인튜닝을 위해서는 다양한 Q&A(질문. 답변) 데이터셋이 준비되어야 합니다.
현재 샌즈랩은 방대한 양의 사이버 위협을 분석한 데이터를 기반으로 한 QA 데이터셋을 구축했습니다. 따라서 기업의 요구에 맞는 사이버 보안 특화 On-Premise sLLM 구축이 가능합니다. On-Premise sLLM를 구축한다면 기업 내부의 데이터 보안 수준을 한층 더 높일 수 있으며, 이를 통해 외부의 위협이나 데이터 유출 등의 이슈를 사전에 방지할 수 있다는 이점이 있습니다.
4. 샌즈랩의 On-Premise sLLM 구축 프로세스
샌즈랩의 On-Premise sLLM 구축 프로세스는 아래와 같습니다.
요구사항 분석: 기업의 요구사항을 상세히 분석하여, 필요한 기능과 성능을 정의합니다.
인프라 설계: 요구사항에 맞추어 최적의 인프라를 설계하고, 필요한 하드웨어와 소프트웨어를 선정합니다.
모델 훈련: 기업의 데이터와 도메인 지식을 반영하여 sLLM 모델을 훈련시킵니다.
시스템 통합: 훈련된 모델을 기업의 기존 시스템과 통합하여, 원활하게 작동할 수 있도록 합니다.
테스트 및 검증: 구축된 시스템을 철저히 테스트하여, 요구된 성능과 기능이 충족되는지 확인합니다.
유지 보수: 시스템이 안정적으로 운영될 수 있도록 지속적인 유지 보수와 업데이트를 제공합니다.
샌즈랩은 체계적인 구축 프로세스와 자체 분석기술 등으로 고객이 필요로 하는 최적의 On-Premise sLLM 솔루션을 제공하고 있습니다.
앞으로도 샌즈랩은 AI 기술로 고객의 비즈니스를 혁신하고, 더 안전한 사이버 보안 환경을 조성하기 위해 지속적으로 노력하겠습니다.
