AI 크롤러란? GPTBot과 OAI-SearchBot의 차이와 확인 방법

GPTBot과 OAI-SearchBot의 차이를 알아보고, robots.txt에서 자사 가격 페이지가 ChatGPT 검색용 봇에 열려 있는지 확인해 보세요.
Soha AI's avatar
Nov 17, 2026
AI 크롤러란? GPTBot과 OAI-SearchBot의 차이와 확인 방법

👀

콘텐츠 한눈에 보기

  • OAI-SearchBot은 ChatGPT 검색에 웹페이지를 보여주는 데 쓰입니다. GPTBot은 OpenAI가 모델 학습에 쓸 수 있는 콘텐츠를 모읍니다.

  • robots.txt에서 OAI-SearchBot을 허용하고 GPTBot만 막을 수 있습니다.

  • 봇의 접속을 허용한 뒤에는 ChatGPT 답변의 출처를 열어 우리 페이지 링크가 나오는지 확인하세요.

고객이 ChatGPT에서 요금제를 비교할 때 우리 가격 페이지가 출처로 나오길 바란다면, 먼저 robots.txt에서 OAI-SearchBot이 가격 페이지를 읽도록 허용했는지 보세요.

AI 크롤러는 웹페이지를 자동으로 읽습니다

크롤러는 웹페이지에 자동으로 접속해 내용을 읽고 모으는 프로그램입니다. 공개 가격 페이지의 요금제 이름이나 월 이용료도 수집 대상이 될 수 있습니다.

OAI-SearchBot은 검색용, GPTBot은 학습용입니다

봇 이름

무슨 일을 하나요?

언제 설정을 확인하나요?

OAI-SearchBot

ChatGPT 검색에서 관련 웹페이지를 보여주는 데 쓰입니다.

제품 소개나 가격 페이지를 ChatGPT 검색에 열어 둘 때

GPTBot

OpenAI의 생성형 AI 기반 모델을 학습시키는 데 쓰일 수 있는 콘텐츠를 모읍니다.

가격표나 제품 도움말의 학습용 수집을 제한할 때

OpenAI는 두 봇의 접근 규칙을 따로 적용합니다. 둘 다 허용하면 한 번 수집한 내용을 검색과 모델 학습에 함께 쓸 수 있습니다.

ℹ️

서버 접속 기록에 ChatGPT-User가 보인다면

사용자가 ChatGPT에 특정 웹페이지를 읽어 달라고 하면 ChatGPT가 그 주소에 접속하면서 ChatGPT-User라는 이름을 쓸 수 있습니다. 이렇게 사용자가 요청한 접속에는 robots.txt 규칙이 적용되지 않을 수 있습니다.

robots.txt에서 가격 페이지에 적용되는 규칙을 찾으세요

robots.txt는 크롤러마다 어떤 주소를 읽도록 허용할지 적어 둔 텍스트 파일입니다.

  1. 브라우저에서 robots.txt를 여세요. 가격 페이지가 https://www.example.com/pricing이라면 파일 주소는 https://www.example.com/robots.txt입니다. 블로그가 blog.example.com에 있다면 https://blog.example.com/robots.txt를 따로 열어야 합니다.

  2. User-agent: OAI-SearchBot과 User-agent: GPTBot을 찾으세요. 각 줄 아래에 해당 봇에 적용되는 규칙이 있습니다. 봇 이름이 따로 적혀 있지 않으면 User-agent: * 아래의 공통 규칙을 보세요.

  3. /pricing에 적용되는 줄을 읽으세요. Allow는 그 경로를 읽어도 된다는 뜻이고, Disallow는 읽지 말라는 요청입니다. 같은 봇에 Disallow: /와 Allow: /pricing이 모두 있으면 /pricing에는 경로를 더 구체적으로 적은 Allow 규칙이 적용됩니다.

robots.txt에서 /pricing을 허용해도 CDN이나 방화벽이 접속을 막을 수 있습니다. CDN은 방문자에게 웹페이지를 빠르게 전달하는 서비스입니다.

📝

개발 담당자에게 보낼 문구 예시

https://www.example.com/pricing을 ChatGPT 검색에 열어 두려고 합니다. robots.txt에서 OAI-SearchBot이 /pricing에 접근할 수 있는지, CDN과 방화벽에서도 OpenAI가 공개한 IP 대역의 요청을 허용하는지 확인해 주세요. 접속 기록에 거절된 요청이 있다면 어떤 규칙이 막았는지도 알려 주세요.

파일을 직접 읽기 어렵다면 Soha AI 사이트 AI 노출 진단에 사이트 주소를 넣고 무료 진단하기를 누르세요. 결과 화면의 AI 검색 봇에서 OAI-SearchBot을, AI 학습 봇에서 GPTBot을 찾으세요. 각 이름 옆에 robots.txt 기준으로 허용인지 차단인지 표시됩니다.

OAI-SearchBot은 허용하고 GPTBot만 막을 수 있습니다

다음은 www.example.com의 모든 경로에서 OAI-SearchBot은 허용하고 GPTBot은 차단하는 가상 예시입니다. GPTBot을 차단하는 규칙은 사이트 콘텐츠를 OpenAI의 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻입니다.

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

예를 들어 기존 User-agent: * 아래에 Disallow: /preview/가 있어 미리보기 경로를 막고 있다고 가정해 보세요. 위 예시를 그대로 추가하면 OAI-SearchBot은 자기 이름 아래의 규칙을 따르므로 robots.txt에서 /preview/도 허용됩니다. OAI-SearchBot이 이 경로를 읽지 않게 하려면 개발 담당자에게 User-agent: OAI-SearchBot 아래에도 Disallow: /preview/를 넣어 달라고 요청하세요.

접근을 허용한 뒤에는 ChatGPT 답변의 출처를 확인하세요

OAI-SearchBot의 접속을 허용해도 ChatGPT가 우리 가격 페이지를 출처로 인용한다고 보장할 수는 없습니다. OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에서 제외됩니다. 사이트로 바로 이동하는 링크는 표시될 수 있습니다.

robots.txt를 바꿨다면 OpenAI 검색 시스템이 변경된 규칙을 반영하는 데 약 24시간이 걸릴 수 있습니다. 하루쯤 지난 뒤 ChatGPT에서 웹 검색을 켜고 고객이 제품을 비교할 때 물을 법한 질문을 넣어 보세요. 협업 도구를 판매한다면 “5인 팀이 쓸 협업 도구의 요금제를 비교해 줘”처럼 물어볼 수 있습니다.

  • 어떤 질문을 언제 검색했는지 기록하세요. 화면에 모델 이름이 표시되면 함께 남겨 두세요.

  • 답변 본문에서 우리 제품명이 나왔는지 보세요. 답변 아래에 출처 버튼이 있으면 열어서 우리 가격 페이지(/pricing)로 연결되는 링크를 찾으세요.

  • 가격 페이지로 들어온 방문을 보려면 GA4의 방문 페이지 보고서에 세션 소스/매체를 추가하세요. 방문 페이지가 /pricing이고 소스가 chatgpt.com으로 기록된 행의 세션 수를 보세요.

📎

가격 페이지 링크가 출처에 보이지 않는다면

가격 페이지를 열어 요금제별 가격과 최대 이용 인원이 적혀 있는지 보세요. 구글 검색에 등록됐는지도 보려면 구글 서치콘솔에서 페이지의 색인 상태를 확인하는 방법을 참고하세요.

Share article