내 컴퓨터에서 공짜로 돌리는 AI — Ollama 입문

왜 굳이 내 컴퓨터에서?

• 보안: 대화 내용이 인터넷으로 나가지 않습니다. 외부 AI에 넣으면 안 되는 자료를 다룰 때 유일한 선택지예요.
• 무료: 한 번 설치하면 사용료가 없습니다.
• 대신 성능은 ChatGPT 같은 서비스보다 떨어집니다. 이건 감안하고 시작하세요.

준비물

• 메모리(RAM) 16GB 이상인 컴퓨터 권장 (8GB면 작은 모델만 가능)
• 맥·윈도우·리눅스 모두 지원

설치 순서

1. ollama.com 에서 설치 파일을 받아 설치합니다.
2. 터미널(윈도우는 PowerShell)을 열고 아래를 입력합니다.

ollama run llama3.1

3. 처음엔 모델 파일(수 GB)을 내려받느라 시간이 걸립니다. 끝나면 터미널에서 바로 대화할 수 있어요.
4. 한국어를 더 잘하는 모델을 원하면 ollama run exaone3.5 처럼 한국어 특화 모델(LG의 엑사원 등)을 받아보세요. 사용 가능한 모델 목록은 ollama.com/library 에서 볼 수 있습니다.

체감 후기

노트북(M2 맥북, 16GB)에서 중간 크기 모델 기준으로 답변 속도는 쓸 만합니다. 요약·초안 작성 정도는 무리 없고, 복잡한 추론은 확실히 약해요. "민감한 문서 요약 전용 보조"로 자리 잡았습니다.

주의할 점

• 모델 파일이 커서 디스크를 수십 GB 쓸 수 있습니다.
• 채팅 화면(GUI)이 필요하면 Open WebUI라는 오픈소스를 얹으면 되는데, 이건 다음 글에서 다룰게요.