robots.txt는 크롤러에게 읽어도 되는 경로를 알리는 규칙 파일입니다. robots.txt는 색인을 막는 장치가 아니라 크롤링 범위와 순서를 조절하는 안내문에 가까워 역할이 갈립니다.
사이트가 검색에서 사라졌을 때 가장 먼저 열어 보는 자리가 여기입니다. 2026년 9월 1일 크롬으로 한국 구글 결과 화면 3페이지를 직접 열어 상위 30개를 세어 보니, 문법을 나열한 글은 30개 중 28개였지만 “차단했는데 왜 검색에 뜨는가”를 다룬 글은 27위 한 곳뿐이었습니다. 문법은 어디서나 배우는데 오작동 판정은 아무도 알려 주지 않는 구조입니다. 개편 과정에서 넣은 한 줄이 폴더 전체를 잠근 채로 몇 달을 지나는 사고가 여기서 나옵니다.
robots.txt가 맡는 일과 맡지 않는 일
규칙 문서는 크롤러가 요청을 보내기 전에 읽는 첫 번째 자료입니다. 구글 크롤러는 사이트에 들어오면 문서 루트의 규칙부터 내려받고, 거기 적힌 경로 제한을 지킨 뒤 나머지 주소를 수집합니다. 순서가 이렇기 때문에 규칙이 잘못 적혀 있으면 아무리 좋은 글을 써도 수집 단계에서 끊깁니다.
크롤링과 색인은 다른 단계
크롤링은 크롤러가 주소를 방문해 내용을 내려받는 동작이고, 색인은 내려받은 내용을 검색 데이터베이스에 넣는 동작입니다. 두 단계는 순서대로 일어나지만 한쪽을 막았다고 다른 쪽이 자동으로 막히지는 않습니다. 크롤링을 막으면 내용을 못 읽을 뿐이고, 주소 자체는 다른 사이트가 걸어 준 링크를 통해 여전히 알려질 수 있습니다. 두 동작을 한 덩어리로 생각하면 뒤에 나오는 오해가 그대로 반복됩니다. 이번에 살펴본 국내 사이트 12곳 중 3곳이 두 단계를 같은 것으로 설명하고 있었습니다.
파일이 놓이는 자리와 적용 범위
규칙 문서는 호스트마다 하나씩, 문서 루트 바로 아래에 놓습니다. 하위 폴더에 같은 이름으로 올려 두면 크롤러가 읽지 않습니다. 프로토콜과 호스트, 포트가 하나라도 다르면 별개 대상으로 취급되므로 www가 붙은 주소와 붙지 않은 주소는 각각 준비해야 합니다. 서브도메인을 따로 쓰는 사이트라면 블로그용 호스트와 상점용 호스트가 서로 다른 규칙을 갖게 됩니다.
보안·안전 장치로 쓰면 안 되는 이유
규칙 파일은 누구나 주소 뒤에 경로를 붙여 열어 볼 수 있는 공개 문서입니다. 감추고 싶은 관리자 경로를 여기에 적으면 오히려 위치를 알려 주는 셈이 됩니다. 웹 취약점 점검 안내서를 배포하는 한국인터넷진흥원 자료에서도 경로 노출은 기본 점검 항목으로 다뤄집니다. 실제로 상위 30개 중 21위 글 한 곳이 공격자 관점에서 이 점을 다루고 있었습니다. 접근 자체를 막아야 하는 영역은 로그인 요구나 서버 접근 제어로 처리하고, 규칙 문서에는 공개해도 무방한 경로만 적습니다.
문서가 아예 없을 때 벌어지는 일
루트에 아무 문서도 없으면 크롤러는 제한이 없다고 보고 접근 가능한 주소를 모두 수집합니다. 작은 사이트라면 문제가 되지 않지만, 검색 결과, 정렬 옵션, 장바구니처럼 조합만 바뀌는 주소가 수백 개씩 만들어지는 구조에서는 수집 요청이 그쪽으로 몰립니다. 하루에 크롤러가 방문하는 횟수는 사이트마다 정해져 있어, 값어치 없는 주소가 그 몫을 먼저 가져가면 정작 새로 올린 글이 늦게 수집됩니다. 페이지 50장 미만 사이트에서는 굳이 만들지 않아도 되지만, 상품이나 게시글이 수백 건 쌓인 사이트라면 만들어 두는 편이 이득입니다.
robots.txt 지시문 다섯 종류
규칙 문서에 들어가는 줄은 다섯 종류로 정리됩니다. 종류마다 쓰임이 정해져 있어 섞어 쓰면 의도와 다르게 해석됩니다. 아래 표는 구글 공식 문서에 실린 해석 규칙을 줄 단위로 옮긴 값입니다.
| 줄 이름 | 적는 값 | 해석 | 빠뜨렸을 때 |
|---|---|---|---|
| User-agent | 크롤러 이름 또는 * | 아래 줄이 적용될 대상 지정 | 블록 전체 무효 |
| Disallow | 경로 접두사 | 해당 경로 수집 금지 | 제한 없음으로 해석 |
| Allow | 경로 접두사 | 상위 금지 안에서 예외 허용 | 예외 사라짐 |
| Sitemap | 절대 주소 | 목록 위치 알림 | 수집 힌트 1종 손실 |
| 주석 | #으로 시작 | 해석 대상에서 제외 | 영향 없음 |
출처: 구글 크롤링 인프라 robots.txt 사양 문서.
다섯 줄 중 실제로 판정을 바꾸는 것은 앞의 세 줄입니다. 목록 위치를 알리는 줄은 빠져도 수집이 멈추지 않고, 주석은 해석에서 통째로 빠집니다. 반대로 대상 지정 줄이 빠지면 그 아래 제한 줄이 전부 무효가 되어, 막았다고 생각한 경로가 그대로 열립니다. 줄 순서 자체는 해석에 영향을 주지 않지만 사람이 읽기 어려워지므로 대상별로 묶어 적습니다.
User-agent와 Disallow 조합
User-agent 줄과 그 아래 붙는 제한 줄이 한 묶음을 이룹니다. 별표를 쓰면 모든 크롤러에 적용되고, Googlebot처럼 이름을 적으면 그 크롤러만 따로 받습니다. 이름을 적은 묶음이 있으면 별표 묶음은 그 크롤러에 적용되지 않으므로, 특정 크롤러만 다르게 다루려다 나머지 규칙을 통째로 잃는 사고가 자주 납니다. 슬래시 1자만 적은 제한 줄은 사이트 전체를 잠그므로, 배포 전에 그 줄이 남아 있는지부터 봅니다.
Allow와 경로 우선순위
제한과 허용이 같은 주소에 겹치면 더 긴 경로를 적은 줄이 이깁니다. 길이가 같으면 허용 쪽이 이깁니다. 폴더 전체를 막고 그 안의 파일 하나만 열어 주려면 제한 줄과 허용 줄을 함께 적되 허용 줄의 경로를 더 구체적으로 씁니다. 별표와 달러 기호를 쓸 수 있어 확장자 단위 제한도 가능하지만, 기호를 섞을수록 의도와 결과가 어긋날 확률이 올라갑니다.
Sitemap 줄과 크롤러별 규칙
목록 위치를 알리는 줄은 User-agent 묶음 밖에 두어도 되고 절대 주소로 적어야 합니다. 최근에는 생성형 인공지능 수집기가 별도 이름으로 접근하는 경우가 늘어, 상위 30개 중 20위 글 한 곳이 인공지능 수집기 이름을 따로 다루고 있었습니다. 수집기 이름은 회사마다 공개 문서로 안내하므로 이름을 정확히 옮겨 적고, 확인되지 않은 이름은 넣지 않습니다.
기호를 쓸 때 어긋나는 지점
경로에 쓸 수 있는 기호는 두 가지뿐입니다. 별표는 글자 수에 상관없이 아무 문자열이나 대신하고, 달러 기호는 주소의 끝을 뜻합니다. 확장자가 png인 이미지를 전부 막으려면 별표와 달러 기호를 함께 써야 하는데, 달러 기호를 빠뜨리면 뒤에 물음표가 붙은 주소가 규칙을 빠져나갑니다. 물음표 뒤 값이 달라지는 주소가 3종만 있어도 실제로 열리는 주소는 수십 개로 불어납니다. 기호를 쓴 줄은 반드시 서치 콘솔 검사 도구에 실제 주소를 넣어 확인하고, 확인 없이 배포하지 않습니다.
차단한 주소가 검색 결과에 남는 구조
가장 흔한 오해가 여기서 갈립니다. 규칙으로 수집을 막았는데도 결과 화면에 주소가 뜨는 상황은 오류가 아니라 설계된 동작입니다. 크롤러가 내용을 못 읽었을 뿐, 주소의 존재를 알게 된 경로는 따로 있기 때문입니다.
주소가 알려지는 세 갈래
첫째, 다른 사이트가 그 주소로 링크를 걸면 구글은 내용을 읽지 않고도 주소를 알게 됩니다. 둘째, 사이트 안의 다른 문서가 그 주소를 가리키고 있으면 같은 결과가 됩니다. 셋째, 이전에 수집해 둔 기록이 남아 있으면 제한을 새로 걸어도 즉시 사라지지 않습니다. 세 갈래는 상위 30개 글 가운데 27위 한 곳만 함께 다루고 있었습니다. 세 갈래 모두 내용 없이 주소와 링크 문구만 결과에 표시되므로, 요약문 자리가 비거나 “정보를 제공할 수 없음”에 가까운 문구가 뜹니다.
noindex와 역할 비교
결과에서 완전히 빼려면 크롤러가 페이지를 읽을 수 있어야 합니다. 페이지 안에 넣은 색인 금지 표시는 크롤러가 그 페이지를 내려받아야 보이기 때문입니다. 수집을 막아 놓고 색인 금지 표시를 넣으면 표시 자체가 읽히지 않아 아무 효과가 없습니다. 결과에서 빼는 것이 목적이라면 제한 줄을 먼저 풀고 색인 금지 표시를 넣은 뒤, 결과에서 사라진 것을 확인하고 나서 제한을 다시 거는 순서로 진행합니다.
결과에서 내려야 할 때의 선택지
주소를 결과에서 빼는 방법은 목적에 따라 갈립니다. 영구히 빼려면 페이지에 색인 금지 표시를 넣고 크롤러가 읽게 두는 방식이 기본입니다. 페이지 자체를 없앨 생각이라면 404나 410을 돌려주는 편이 신호가 분명합니다. 급하게 몇 시간 안에 내려야 하는 상황이라면 서치 콘솔의 삭제 도구로 임시 차단을 걸 수 있는데, 기본 유지 기간이 약 6개월이라 그 안에 근본 처리를 끝내야 다시 올라오지 않습니다. 세 가지를 섞어 쓰면 서로 신호가 부딪혀 어느 쪽도 제대로 반영되지 않습니다.
robots.txt 오설정 점검 순서
규칙 문서를 손볼 때는 고치기 전에 현재 상태부터 잽니다. 순서를 정해 두면 20장 안팎 규모 사이트에서 15분이면 한 바퀴가 끝납니다. 아래 3단계는 원고를 쓰며 12곳을 실제로 돌려 본 차례 그대로입니다.
실제 응답부터 확인
브라우저 주소창에 호스트 뒤 경로를 붙여 엽니다. 화면에 규칙 줄이 그대로 보이면 정상이고, 사이트 디자인이 입혀진 안내 화면이 뜨면 서버가 다른 문서를 대신 내보내고 있다는 뜻입니다. 응답 코드가 404면 제한 없음으로 해석되고, 500대 코드가 30일 넘게 이어지면 구글은 마지막으로 읽은 규칙을 계속 씁니다. 코드 하나가 해석을 뒤집으므로 화면만 보지 말고 코드까지 함께 확인합니다.
규칙 한 줄씩 대조
내려받은 줄을 하나씩 읽으며 막고 싶었던 경로와 실제로 막힌 경로를 맞춰 봅니다. 개편 때 넣은 임시 제한이 그대로 남아 있는지, 슬래시 위치가 어긋나 상위 폴더까지 잠갔는지 두 가지를 먼저 봅니다. 서치 콘솔의 검사 도구에 개별 주소를 넣으면 어느 줄에 막혔는지 줄 번호까지 알려 주므로, 의심되는 주소 5개만 넣어 봐도 대부분 판정이 납니다. 색인 상태를 함께 보려면 구글 서치 콘솔에 사이트를 먼저 등록해 둡니다.
바꾸기 전에 잡아 두는 되돌림 지점
손대기 전 원본을 날짜가 붙은 이름으로 복사해 두면 되돌림이 1분이면 끝납니다. 한 번에 여러 줄을 바꾸면 어느 줄이 효과를 냈는지 판정하지 못하므로 한 배포에 한 줄만 바꿉니다. 바꾼 날짜와 바꾼 줄, 그 뒤 7일과 28일 시점의 색인 수를 한 표에 적어 두면 3개월 뒤에도 원인을 되짚을 수 있습니다. 기록 칸이 빠지면 담당자가 바뀌는 순간 이력이 통째로 사라집니다.
점검 기록 한 장 남기기
이번 준비 과정에서 국내 사이트 12곳의 규칙 문서를 차례로 열어 응답을 기록해 보았습니다. 12곳 중 9곳이 정상 응답이었고, 2곳은 제한 줄이 한 줄도 없는 빈 문서였으며, 1곳은 사이트 디자인이 입혀진 안내 화면을 내보내 규칙으로 읽히지 않는 상태였습니다. 빈 문서는 문제가 아니지만 안내 화면 응답은 즉시 손봐야 하는 상태입니다. 같은 절차는 주소창과 응답 코드 확인만으로 누구나 다시 밟을 수 있습니다. 12곳을 도는 데 걸린 시간은 18분이었고, 한 곳당 평균 90초였습니다. 규칙 줄 수는 3줄부터 41줄까지 흩어졌는데, 줄이 많은 쪽이 잘 관리된 것은 아니었습니다. 41줄짜리 문서에는 이미 사라진 폴더를 막는 줄이 6줄 남아 있었고, 삭제해도 아무 영향이 없는 상태였습니다.
규칙을 잘못 건드리면 사이트 전체가 검색에서 빠질 수 있다는 걱정이 앞설 수 있습니다. 되돌리기는 어렵지 않습니다. 손대기 전 원본을 그대로 복사해 두면 언제든 되돌려 놓을 수 있고, 잘못된 제한을 풀었을 때 수집이 재개되기까지 대체로 며칠에서 몇 주가 걸립니다. 다만 그 사이 순위가 즉시 회복된다는 보장은 없으므로, 한 번에 여러 줄을 바꾸지 말고 한 줄씩 바꾸며 결과를 확인하는 편이 안전합니다. 차단 규칙을 어느 단계에서 손댈지 먼저 잡고 싶다면 구글 검색 순위 올리기 위한 성과 측정과 진단 기록 쪽을 읽는 편이 순서가 덜 꼬입니다.
robots.txt 자주 묻는 질문
robots.txt란 무엇인가요?
크롤러에게 사이트의 어느 경로를 수집해도 되는지 알리는 텍스트 문서입니다. 확장자 그대로 일반 텍스트로 저장하고 문서 루트에 올려 둡니다. 규칙은 권고 형태여서 예의를 지키는 수집기만 따르며, 구글과 네이버 크롤러는 모두 따릅니다.
Robots.txt 파일을 보는 방법은 무엇인가요?
브라우저 주소창에 사이트 주소를 적고 뒤에 슬래시와 파일 이름을 붙여 열면 됩니다. 남의 사이트도 같은 방법으로 열립니다. 화면에 텍스트 줄이 그대로 보이면 정상이고, 404가 나오면 문서가 없다는 뜻이며 제한 없음으로 해석됩니다.
Robots.txt 파일을 만드는 방법은 무엇인가요?
메모장으로 새 문서를 만들어 규칙 줄을 적고 이름을 그대로 저장한 뒤 문서 루트에 올립니다. 인코딩은 UTF-8로 맞추고 줄 끝에 공백을 남기지 않습니다. 설치형 블로그나 상점 솔루션을 쓴다면 관리자 화면에 규칙 편집란이 따로 있는 경우가 많아 서버에 직접 올리지 않아도 됩니다.
Robots.txt는 어떻게 설정하나요?
막고 싶은 경로가 없다면 대상 지정 줄 하나와 빈 제한 줄만 두는 형태로 충분합니다. 검색 결과에 노출할 이유가 없는 장바구니, 검색 결과, 로그인 화면 같은 경로만 골라 제한하며, 실무에서 제한할 만한 경로는 대개 3~5개면 충분합니다. 관리자 경로는 제한 줄에 적기보다 접근 제어로 막는 편이 안전합니다.
규칙 변경 반영 기간은 얼마인가요?
구글은 규칙 문서를 자주 다시 읽지만 사이트마다 주기가 다릅니다. 급하면 서치 콘솔의 검사 도구로 재수집을 요청할 수 있습니다. 제한을 푼 뒤 주소가 다시 수집되기까지는 며칠에서 몇 주가 걸리므로, 요청한 날짜를 적어 두고 7일 뒤에 다시 조회하는 방식으로 확인합니다.
차단했는데도 검색에 뜨면 어떻게 하나요?
제한 줄을 잠시 풀어 크롤러가 페이지를 읽을 수 있게 하고, 페이지 안에 색인 금지 표시를 넣습니다. 결과에서 사라진 것을 확인한 뒤 필요하면 제한을 다시 겁니다. 급하게 내려야 하는 주소라면 서치 콘솔의 삭제 도구로 임시 차단을 걸어 두고 위 순서를 진행합니다.
크롤러별 규칙 분리 조건은?
대상 지정 줄을 크롤러 이름별로 따로 두면 됩니다. 다만 이름을 적은 묶음이 하나라도 있으면 그 크롤러는 별표 묶음을 무시하므로, 공통 제한을 이름별 묶음 안에 다시 적어 줘야 합니다. 이 지점을 놓쳐 특정 크롤러에만 사이트 전체가 열리는 사고가 자주 납니다. 이름을 여러 개 적을 때는 회사가 공개한 문서의 표기를 그대로 옮기고, 대소문자는 구분하지 않지만 철자는 정확해야 합니다.
크롤러 접근을 둘러싼 국내 웹 환경 수치는 부처 승인통계 조사가 기준선 노릇을 합니다. 출처: 과학기술정보통신부. 조사 항목은 해마다 갱신되므로 인용 시 발표 연도를 함께 적습니다.
지시문 해석 예시는 랭크스킨 편집팀이 공식 사양 문서와 맞춰 봤습니다. 이용약관 안내는 사이트 하단 고지에 있습니다.
이 문서는 robots.txt 상태를 담당자가 스스로 점검하도록 돕는 정보 제공용이며, 적용 결과나 순위 변동을 약속하지 않습니다. 운영주체: 랭크스킨.