robots.txt는 크롤러가 사이트에서 접근할 URL에 관한 규칙을 전달한다. 크롤러가 이를 따르는 방식이며 비공개 정보 보호나 Google 검색 결과 제외를 강제하는 보안 장치가 아니다.
근거 출처 확인확인 기록
발행기관: Google Search Central
출처 원문 열기 ↗
- 자료 시점
- 현재 유효 조건을 확인한 자료
- 재검토 예정
- 2026-11-13T00:00:00.000Z
- 원자료 관계
- 직접 원자료
- 원자료 주소
- https://developers.google.com/search/docs/crawling-indexing/robots/intro
- 원발행자
- Google Search Central
- 계보 확인 범위
- 제안자 또는 해당 서비스를 운영하는 기관의 원문이다. 포맷·운영 정책·문서 배포 사례를 확인하며 독립적인 인용 효과 실험과 구분한다.
- 원문 위치
- Introduction to robots.txt; Understand the limitations
- 최초 발행
- 발행일 미등록
- 이용 범위
- 공개 원문의 목적과 정의를 자체 한국어로 요약하고 확인 위치와 원문 URL을 연결한다. 원문 전문과 이미지를 복제하지 않는다.
- 자료 버전
- checked-2026-10-13
- 확보 시각
- 2026-10-12T17:49:15.939Z
- 확보 방법
- public-url
- 보관 범위
- 확인 URL·위치와 자체 요약을 보존한다.
근거 출처
https://developers.google.com/search/docs/crawling-indexing/robots/intro
작성·검토·참여 관계
작성: 서치코리아 편집부
검토: 서치코리아 편집부 · Codex 편집 지원
등록된 유료 참여 관계 없음
변경 이력
v1
2026-10-13 사용자의 한 편씩 계속 작성 요청에 따라 세 번째 원고를 발행한다. 현재 llms.txt v2 제안과 변경 안내, Google 검색·Lighthouse 공식 정책, OpenAI·Anthropic 문서 파일과 본문·표의 범위를 대조했다. 단독 운영자 설정의 Codex 편집 지원이며 독립 전문가 인적 검수나 실제 검색 효과 실험을 수행한 기록은 아니다.