해커도 쓰는 로컬AI, 올라마·GPT4All 뭐길래

해커 인프라에서 발견된 로컬 AI

2026년 8월 10일, 국내 보안 기업 지니언스는 북한 연계 해킹조직 김수키(Kimsuky)의 공격 인프라를 수개월간 추적한 분석 보고서를 공개했다. 지니언스에 따르면 이 조직은 공격 서버 안에 올라마(Ollama), GPT4All, Msty라는 세 가지 로컬 LLM 실행 환경을 구축해 운영한 흔적을 남겼다. 올라마 폴더에서는 최초 실행 시 생성되는 인증 키 파일이, GPT4All에서는 설치 파일과 함께 문서 검색용 데이터베이스(localdocs_v3.db)가 확인됐다.

지니언스는 이를 두고 김수키가 AI 모델을 직접 개발한 것이 아니라, 공개된 AI 도구를 악성코드 개발·탈취 자료 분석·공격 자동화에 접목하기 위해 기술을 축적하는 단계로 평가했다. 그렇다면 해커까지 손을 댄 이 로컬 AI 도구들은 대체 무엇일까.

올라마(Ollama)란 무엇인가

Photo by Bernd 📷 Dittrich on Unsplash

올라마는 메타의 라마(Llama), 미스트랄, 구글 젬마(Gemma) 같은 오픈소스 AI 모델을 내 컴퓨터에 내려받아 실행·관리해 주는 무료 오픈소스 도구다. 모델의 가중치와 설정, 실행 환경을 하나로 묶어 명령어 한 줄로 돌릴 수 있게 해 주는 것이 특징이다. 한 번 모델을 내려받고 나면 인터넷 연결 없이도 작동하고, 토큰당 요금이나 구독료도 없다.

예전에는 터미널 명령어가 필요했지만, 2026년 현재 맥·윈도우용 올라마는 채팅 화면이 내장된 데스크톱 앱으로 배포된다. ollama.com에서 앱을 설치하고 모델만 고르면 곧바로 대화할 수 있다.

GPT4All이란 무엇인가

GPT4All은 미국 노믹 AI(Nomic AI)가 2023년 선보인 무료 데스크톱 앱으로, 윈도우·맥·리눅스를 지원한다. 노믹 AI는 이 제품을 "로컬 언어 모델을 위한 대표적인 프라이빗 AI 챗봇"이라고 소개한다. 라마, 미스트랄, 딥시크 등 수많은 오픈소스 모델을 완전히 오프라인으로 돌리며, 대화와 데이터가 기기 밖으로 나가지 않는다.

가장 눈에 띄는 기능은 'LocalDocs'다. 내 PDF나 문서, 코드 파일을 올려 두면 AI가 그 내용을 근거로 답하는 검색 증강 생성(RAG) 기능으로, 민감한 자료를 어디에도 전송하지 않고 요약·질의할 수 있다. 김수키가 이 기능을 설정해 둔 정황이 바로 앞서 언급한 데이터베이스 파일이다.

클라우드 챗봇과 무엇이 다른가

ChatGPT 같은 클라우드 챗봇은 내가 입력한 내용이 사업자 서버로 전송돼 처리된다. 이 과정에서 데이터가 오남용 감시나 모델 개선, 디버깅 목적으로 기록될 수 있고, 그 범위는 사업자의 정책에 달려 있으며 정책은 언제든 바뀔 수 있다. 반면 로컬 AI는 연산이 내 PC 안에서만 이뤄져 원칙적으로 외부로 나가는 네트워크 요청도, 서버 측 기록도 없다.

다만 공짜와 프라이버시에는 대가가 따른다. 개인용 PC에서 돌리는 소형 모델은 간단한 요약이나 스크립트 작성에는 훌륭하지만, 복잡한 다단계 추론이나 대규모 코딩에서는 최신 클라우드 모델에 미치지 못한다. 그래서 많은 사용자가 민감한 작업은 로컬로, 성능이 필요한 작업은 클라우드로 나누는 혼합 방식을 쓴다.

왜 흔적을 남기기 싫은 쪽이 선호하나

지니언스 보고서는 김수키가 로컬 방식을 택한 이유를 명확히 짚는다. 대화 데이터가 외부 AI 서비스로 전송되지 않기 때문에 외부 노출 위험이 줄어들어, 국가 배후 공격조직에게 특히 매력적인 선택지라는 것이다. 바꿔 말하면, 프라이버시를 지키려는 일반 사용자에게 이롭게 작동하는 바로 그 특성이 추적을 피하려는 공격자에게도 똑같이 유용하다는 뜻이다. 도구 자체는 중립적이며, 로컬 AI가 나쁜 것은 아니다.

직접 시작해보려면

처음이라면 올라마가 부담이 적다. ollama.com에서 앱을 설치한 뒤, 내 램(RAM) 용량에 맞춰 모델을 고르면 된다. 대략 8GB면 3B급, 16GB면 14~20B급 정도가 무난하다. 문서를 근거로 답하게 하고 싶다면 GPT4All을 설치하고 LocalDocs에 폴더를 연결해 보자. 두 도구 모두 무료이니, 민감한 문서 요약이나 오프라인 환경 같은 실제 필요부터 가볍게 시험해 보는 것을 권한다.

출처

1. Kimsuky Integrates AI into Attack Operations, From AI-Generated Decoy Documents to a Local LLM (Genians)
2. 북한 해커 김수키, 로컬 LLM 구축…Ollama·GPT4All 흔적 확인 (ZDNet Korea)
3. Kimsuky Builds Offline AI Stack to Boost Phishing and Automate Malware Development (The Hacker News)
4. GPT4All – The Leading Private AI Chatbot for Local Language Models (Nomic AI)
5. North Korean spies are running local LLMs to cause AI mischief (The Register)