광역지자체 8곳의 AI 크롤러 정책 — 완전 허용부터 경로 화이트리스트까지
서울·부산·대구·인천·광주·대전·울산·세종 8개 광역지자체 홈페이지의 robots.txt와 루트 주소 응답을 점검했습니다. AI 크롤러 17종에 대한 정책은 완전 허용, 경로 화이트리스트, 이름 지정 차단, 판정 불가로 나뉘었고, 빠르게 변하는 환경에 맞춰 저희 진단 도구의 판정 로직도 함께 보강했습니다.
김도학
Marketing Architect · 국제마케팅·기업관리 박사(UIBE)
발행일
2026-10-23
핵심 요약
8개 광역지자체의 AI 크롤러 정책은 한 가지가 아니었습니다. 완전 허용, "Disallow: /"와 경로별 Allow를 섞은 화이트리스트, 특정 AI 봇만 막는 규칙, 그리고 robots.txt를 읽을 수 없는 곳까지. 순위가 아니라 구조 현황과 개선 방향을 정리했습니다.
왜 광역지자체 홈페이지인가
시민이 "전입신고는 어디서 하나요?"를 AI에게 묻는 시대에, 지자체 홈페이지는 공식 정보의 원천입니다. AI가 그 원천을 읽을 수 있는지는 robots.txt와 첫 화면의 응답 방식에서 갈립니다. 저희는 특별시·광역시·특별자치시 8곳(서울·부산·대구·인천·광주·대전·울산·세종)을 전수 점검했습니다. 8곳은 표본이 아니라 해당 행정 구분의 전부입니다. 이 글은 순위를 다루지 않습니다. 공개 응답에서 확인되는 구조 현황과 개선 방향만 다룹니다. 측정일은 2026년 10월 20일이고, 이후 설정은 달라졌을 수 있습니다.
AI 크롤러 정책, 네 가지로 나뉘었다
저희는 AI 크롤러 17종(학습용·검색용·사용자 요청용·제어 토큰)을 기준으로 정책 유형을 분류했습니다. 크롤러 종류는 지난 글에서 정리했습니다.
| 정책 유형 | 곳 수 | 설명 |
|---|---|---|
| 완전 허용 | 2 | AI 크롤러 17종 모두 제한 없음 |
| 경로 화이트리스트 | 2 | Disallow: / 뒤에 허용 경로만 Allow로 열어 둔 방식 |
| 이름 지정 차단 | 1 | 특정 AI 봇(GPTBot)만 명시적으로 차단 |
| 전면 차단 | 1 | User-agent: *에 Disallow: /를 걸고 허용 규칙이 없어 17종 중 16종이 막힘 |
| 판정 불가 | 2 | robots.txt가 401(인증 요구) 또는 404(파일 없음) |
한 가지 정책으로 수렴해 있지 않다는 점이 첫 발견입니다. 어느 쪽이 옳다는 이야기가 아니라, 기관마다 의도와 관성이 다르게 쌓여 있다는 뜻입니다. 전면 차단은 이 글에서 가장 강한 형태의 정책이지만, 그것이 의도된 결정인지 과거 보안 설정의 잔재인지는 공개 응답만으로 알 수 없습니다. 그래서 이 글은 정책의 옳고 그름을 판단하지 않습니다.
화이트리스트는 전면 차단이 아니다 — 새 유형을 만나 도구를 보강한 대목
두 곳은 이런 형태였습니다.
User-agent: * / Disallow: / / Allow: /main / Allow: /news / Allow: /citizen …
표준(RFC 9309)은 더 길게 일치하는 규칙을 우선하므로, 이 설정은 전체를 막는 것이 아니라 허용한 경로만 여는 화이트리스트입니다. 그런데 저희 진단 도구(AEGIS Insight)의 기존 로직은 이를 "AI 크롤러 17종 전면 차단"으로 판정했습니다. AI 크롤러의 종류와 robots.txt를 쓰는 방식이 빠르게 바뀌는 가운데, 공공 사이트의 화이트리스트라는 새로운 유형을 처음 대규모로 만나면서 놓친 부분이었습니다. 지자체 사이트를 점검하다 발견해 최장 일치 방식으로 판정 로직을 다시 만들었고, "완전 허용 / 부분 허용 / 전면 차단"을 구분하게 했습니다. 측정 방식이 시대보다 뒤처지지 않도록 계속 갱신하고, 놓친 부분은 숨기지 않고 공개하는 것이 이 시리즈의 원칙입니다.
화이트리스트 방식에서는 허용 목록에 시민이 AI에게 자주 묻는 영역(민원·복지·교통·관광)의 경로가 빠져 있지 않은지가 핵심 점검 사항입니다.
robots.txt가 읽히지 않는 경우
두 곳은 판정 자체가 불가능했습니다. 한 곳은 robots.txt 요청에 401(인증 요구)을 돌려주었고, 한 곳은 파일이 없었습니다(404). 파일이 없는 것은 표준상 제한이 없다는 뜻이지만, 정책이 문서화되지 않아 의도를 알 수 없습니다. 401은 크롤러가 규칙을 읽을 수 없는 상태라 별도 점검이 필요합니다.
두 번째 보강 — 리다이렉트 뒤의 호스트
전면 차단으로 분류된 곳은 처음에 "robots.txt 없음(404)"으로 기록되었습니다. 이 기관의 루트 주소가 인증(SSO) 서버로 이동하는데, 도구가 이동한 뒤의 호스트(인증 서버)에서 robots.txt를 찾았기 때문입니다. 사이트 본체의 정책은 정반대였습니다. 글을 쓰며 이 불일치를 발견해, 사용자가 입력한 주소의 호스트를 먼저 확인하도록 고치고 해당 기관을 다시 측정했습니다. 점검 도구의 판정이 현실의 다양한 구조를 따라가지 못하면 공공기관에 대한 잘못된 서술로 이어질 수 있기 때문에, 발견 즉시 수정하고 재측정했습니다.
첫 화면이 비어 있는 주소
루트 주소를 받아 본문 단어 수를 세어 보니 두 곳이 눈에 띄었습니다.
| 관측 | 내용 |
|---|---|
| JS 리다이렉트 스텁 | 루트 응답이 6단어짜리 스크립트로, 자바스크립트로 대표 화면(약 880단어)으로 이동 |
| SSO 리다이렉트 | 루트가 인증(SSO) 주소로 이동하는 짧은 응답으로 본문 0단어 |
| User-Agent별 접속 거부 | 한 곳은 일반 브라우저 UA에는 정상이지만 진단 도구 UA 요청을 간헐적으로 거부 |
이는 프리렌더 글에서 다룬 "크롤러에게 빈 페이지" 문제와 같은 구조입니다. 사람은 정상으로 보지만 자바스크립트를 실행하지 않는 크롤러는 본문에 도달하지 못할 수 있습니다. 검색 그라운딩이 보완해 주는 경우도 있어 점수에는 덜 반영되지만, AI가 직접 읽는 정보의 입구라는 점에서 개선 가치가 큽니다.
개선 방향 5가지
| # | 개선 방향 |
|---|---|
| 1 | AI 크롤러 정책을 의도적으로 결정하고 robots.txt에 명시한다. 막는 경우에도 이유와 범위를 문서화한다 |
| 2 | 화이트리스트를 쓴다면 민원·복지·교통·관광 등 시민 질문 영역 경로가 허용 목록에 있는지 점검한다 |
| 3 | robots.txt가 401·403으로 응답하지 않게 하고, 없다면 최소한의 파일을 둔다 |
| 4 | 서버가 직접 본문을 응답하는 대표 주소를 마련한다. JS·SSO 리다이렉트는 크롤러에게 빈 페이지일 수 있다 |
| 5 | WAF·접속 제한이 검색·AI 크롤러의 UA를 의도치 않게 거부하지 않는지 정기 점검한다 |
측정 도구는 계속 업데이트됩니다
AI 검색 환경은 빠르게 변합니다. 크롤러의 종류가 늘고, 사이트의 설정 방식도 달라집니다. 측정 도구가 이를 따라가지 못하면 어느새 낡은 기준으로 점수를 매기게 됩니다. 저희는 AEGIS 플랫폼이 시대에 뒤처지지 않도록 현장에서 부딪힌 사례마다 판정 로직을 갱신하고 있습니다.
| 시기 | 업데이트 | 계기 |
|---|---|---|
| 2026.09 | AI 크롤러 판정을 9종에서 17종으로 확대(실시간 검색·사용자 요청용 포함) | 학습용 중심 목록이 실시간 답변용 봇을 놓침 |
| 2026.09 | 페이지 속도를 모델 추정에서 PageSpeed 실측으로 전환 | 추정치가 실측처럼 쓰임 |
| 2026.10 | robots.txt 공유 그룹·접두어 판정 오류 수정, 403 응답을 "요소 없음"이 아닌 수집 실패로 처리 | 점검 중 발견 |
| 2026.10 | 화이트리스트(Disallow: / + 경로별 Allow)를 부분 허용으로 구분(RFC 9309) | 지자체 사이트 점검 |
| 2026.10 | 리다이렉트 이후가 아닌 입력 주소의 호스트 우선 확인 | SSO 리다이렉트 사례 |
이 목록은 앞으로도 길어질 것입니다. 새로운 유형을 만날 때마다 로직을 갱신하고, 그 이력을 공개하는 것이 측정 도구가 낡지 않게 하는 방법이라고 믿습니다.
이 점검의 한계
측정은 2026년 10월 20일 국내 환경의 공개 응답 1회분입니다. robots.txt는 수시로 바뀔 수 있고, 일부 사이트는 접속 환경(UA·IP)에 따라 다르게 응답합니다. 8곳은 해당 행정 구분의 전수이지만 통계적으로 일반화하지 않습니다. 정책의 옳고 그름은 판단하지 않았습니다.
다음 글
다음 글에서는 같은 8곳의 구조 점수(SEO·AEO·GEO)와 스키마·sitemap 현황, 그리고 점수를 읽을 때 조심할 점을 다룹니다. 우리 기관의 구조는 AEGIS Insight로 직접 진단해 볼 수 있습니다.
📌 자주 묻는 질문
Q.이 글은 지자체의 순위를 매긴 것인가요?
아닙니다. 순위나 점수 서열은 공개하지 않습니다. 공개된 응답에서 확인되는 객관적 구조 현황과 개선 방향만 다룹니다. 측정은 2026년 10월 20일 기준 공개 응답이며, 이후 설정이 바뀌었을 수 있습니다.
Q.robots.txt에서 AI 크롤러를 막는 것은 잘못인가요?
아닙니다. 막을지 열지는 기관의 정책 결정입니다. 이 글이 짚는 것은 정책 자체가 아니라, 의도한 대로 설정되었는지와 시민이 AI에게 질문했을 때 공식 정보가 읽힐 수 있는 구조인지입니다.
Q."Disallow: /"와 "Allow: /main"이 같이 있으면 전면 차단인가요?
아닙니다. 표준(RFC 9309)은 더 길게 일치하는 규칙을 우선합니다. 그래서 "Disallow: /"에 경로별 Allow를 더하면 허용한 경로만 열린 화이트리스트가 됩니다. 저희 진단 도구의 기존 판정 로직은 이 유형을 반영하지 못하고 있었고, 이번 조사에서 표준 방식으로 보강했습니다.
Q.robots.txt가 없으면(404) AI 크롤러가 막힌 건가요?
아닙니다. 파일이 없으면 표준상 제한이 없다는 뜻입니다. 다만 정책이 문서화되지 않았다는 점에서 의도를 확인하기 어렵고, 401·403처럼 읽을 수 없는 응답은 크롤러가 판단할 수 없어 별개의 문제입니다.
Q.루트 주소가 리다이렉트 스텁이면 왜 문제인가요?
자바스크립트나 로그인(SSO) 리다이렉트로만 본문에 도달하는 주소는, 이를 실행하지 않는 크롤러에게 빈 페이지로 보일 수 있습니다. 사람에게는 정상이어도 AI가 읽는 첫 화면이 비어 있을 수 있다는 뜻입니다.
같은 카테고리의 관련 글
