왜 굳이 내 컴퓨터에서?
- 보안: 대화 내용이 인터넷으로 나가지 않습니다. 외부 AI에 넣으면 안 되는 자료를 다룰 때 유일한 선택지예요.
- 무료: 한 번 설치하면 사용료가 없습니다.
- 대신 성능은 ChatGPT 같은 서비스보다 떨어집니다. 이건 감안하고 시작하세요.
준비물
- 메모리(RAM) 16GB 이상인 컴퓨터 권장 (8GB면 작은 모델만 가능)
- 맥·윈도우·리눅스 모두 지원
설치 순서
- ollama.com 에서 설치 파일을 받아 설치합니다.
- 터미널(윈도우는 PowerShell)을 열고 아래를 입력합니다.
ollama run llama3.1
- 처음엔 모델 파일(수 GB)을 내려받느라 시간이 걸립니다. 끝나면 터미널에서 바로 대화할 수 있어요.
- 한국어를 더 잘하는 모델을 원하면
ollama run exaone3.5처럼 한국어 특화 모델(LG의 엑사원 등)을 받아보세요. 사용 가능한 모델 목록은 ollama.com/library 에서 볼 수 있습니다.
체감 후기
노트북(M2 맥북, 16GB)에서 중간 크기 모델 기준으로 답변 속도는 쓸 만합니다. 요약·초안 작성 정도는 무리 없고, 복잡한 추론은 확실히 약해요. "민감한 문서 요약 전용 보조"로 자리 잡았습니다.
주의할 점
- 모델 파일이 커서 디스크를 수십 GB 쓸 수 있습니다.
- 채팅 화면(GUI)이 필요하면 Open WebUI라는 오픈소스를 얹으면 되는데, 이건 다음 글에서 다룰게요.