이런 상황이면 딱입니다
여러 페이지를 하나씩 열어서 복사, 붙여넣기를 반복하며 자료를 모으고 있다면, 그리고 그걸 다시 ChatGPT 같은 AI에게 붙여넣어 요약을 시키고 있다면, 이 과정 자체를 자동화할 수 있습니다.
준비물
- Python이 설치된 컴퓨터
- 수집하고 싶은 웹페이지 목록
- 필요하면 OpenAI나 다른 LLM API 키 (요약까지 자동화하고 싶을 때)
따라 하는 순서
- pip으로 Crawl4AI를 설치합니다.
- 수집하고 싶은 URL 목록을 코드에 넣고 실행하면, 각 페이지가 광고나 메뉴 없이 본문 위주의 마크다운으로 변환됩니다.
- 표가 있는 페이지는 표 구조까지 유지한 채로 추출할 수 있습니다.
- 변환된 마크다운을 한 파일로 모아, AI에게 "이 자료들을 요약해줘" 하고 넘깁니다.
- 매일 같은 페이지를 확인해야 한다면 스케줄러(cron 등)로 정기 실행되게 설정합니다.
결과 확인
몇 개 페이지로 먼저 테스트해서 결과 마크다운이 실제 본문과 잘 맞는지 확인하고, 이상하게 잘리는 부분이 있으면 페이지 로딩 대기 시간을 늘려보세요.
흔한 실수
동적으로 로딩되는 페이지는 대기 시간을 짧게 주면 내용이 비어있는 채로 수집됩니다. 페이지 로딩이 오래 걸리는 사이트는 대기 옵션을 넉넉히 주는 게 안전합니다.
한 가지 더 챙기면 좋은 점은, 처음 설정한 뒤에는 반드시 실제 데이터로 한 번 시험해보고 결과가 기대한 형태로 나오는지 확인하는 것입니다. 대충 넘어가면 나중에 엉뚱한 결과가 쌓여서 오히려 손이 더 갑니다. 처음 며칠은 결과물을 사람이 한 번씩 훑어보면서 규칙이나 프롬프트를 다듬어가는 게 가장 빠른 길입니다.
한 가지 더 챙기면 좋은 점은, 처음 설정한 뒤에는 반드시 실제 데이터로 한 번 시험해보고 결과가 기대한 형태로 나오는지 확인하는 것입니다. 대충 넘어가면 나중에 엉뚱한 결과가 쌓여서 오히려 손이 더 갑니다. 처음 며칠은 결과물을 사람이 한 번씩 훑어보면서 규칙이나 프롬프트를 다듬어가는 게 가장 빠른 길입니다.
한 가지 더 챙기면 좋은 점은, 처음 설정한 뒤에는 반드시 실제 데이터로 한 번 시험해보고 결과가 기대한 형태로 나오는지 확인하는 것입니다. 대충 넘어가면 나중에 엉뚱한 결과가 쌓여서 오히려 손이 더 갑니다. 처음 며칠은 결과물을 사람이 한 번씩 훑어보면서 규칙이나 프롬프트를 다듬어가는 게 가장 빠른 길입니다.
한 가지 더 챙기면 좋은 점은, 처음 설정한 뒤에는 반드시 실제 데이터로 한 번 시험해보고 결과가 기대한 형태로 나오는지 확인하는 것입니다. 대충 넘어가면 나중에 엉뚱한 결과가 쌓여서 오히려 손이 더 갑니다. 처음 며칠은 결과물을 사람이 한 번씩 훑어보면서 규칙이나 프롬프트를 다듬어가는 게 가장 빠른 길입니다.