우리 서비스 문서로 답하는 AI 고객응대 초안 만들기

상황

고객 문의가 매일 들어오는데, 답변의 절반은 서비스 이용약관, 환불 정책, 사용법처럼 이미 문서에 다 정리되어 있는 내용입니다. 그런데도 담당자가 매번 문서를 다시 열어 확인하고 손으로 답장을 씁니다. 신입 상담원이 들어오면 같은 질문에 대한 답변 톤이 제각각이라 고객 경험도 들쭉날쭉해집니다.

Dify는 우리 문서를 업로드하면 그 문서 내용만 근거로 답하는 AI 애플리케이션을 코드 없이 만들 수 있는 플랫폼입니다. RAG(문서 기반 검색 답변) 파이프라인을 GUI로 구성하고, ChatGPT나 클로드 같은 원하는 모델을 선택해 연결할 수 있습니다.

준비물과 비용

• Dify 클라우드 계정(무료 플랜으로 시작 가능) 또는 자체 호스팅 서버
• 서비스 이용약관, FAQ, 환불정책, 사용 가이드 등 텍스트 문서 (PDF, Word, Markdown 지원)
• OpenAI 또는 Anthropic API 키 (질문량에 따라 과금, 월 문의 500건 기준 대략 2~5만원 수준)
• 최소 CPU 2코어, 메모리 4GB의 서버 사양 (자체 호스팅 시)

순서

1. Dify에서 새 애플리케이션을 만들고 "지식 기반(Knowledge)"에 문서를 업로드합니다. 문서는 섹션 단위로 잘게 나뉘어 검색 가능한 형태로 저장됩니다.
2. 챗봇 앱을 생성하고 지식 기반을 연결합니다. 이때 답변이 문서 밖 내용을 지어내지 않도록 아래 시스템 프롬프트를 설정합니다.
3. 답변 톤과 형식을 테스트 화면에서 실제 문의 10개 정도로 미리 확인하고, 어색한 답변이 나오면 프롬프트를 조정합니다.
4. 완성된 봇을 API 형태로 배포하고, 상담 도구(카카오톡 채널, 웹사이트 채팅창 등)에 연결하거나, 상담원이 초안만 받아서 검토 후 발송하는 반자동 방식으로 운영합니다.
5. 매주 새로 들어온 문의 중 봇이 답하지 못한 질문을 모아 지식 기반 문서에 추가하며 정확도를 계속 높입니다.

프롬프트 템플릿 (시스템 프롬프트)

당신은 우리 서비스의 고객 상담 담당자입니다. 반드시 제공된 문서 내용에 근거해서만 답변하세요.

규칙:
1. 문서에 명확한 답이 있으면 정중하고 간결한 한국어로 답변합니다.
2. 문서에 없는 내용을 절대 지어내지 마세요. 대신 "이 부분은 담당자 확인이 필요합니다"라고 답하세요.
3. 답변은 인사말 없이 바로 핵심부터 시작하고, 3문장을 넘기지 않습니다.