{
  "id": "0bdacbd3-4a27-46d8-a086-fcff3738c15b",
  "url": "https://searchkorea.kr/sources/crawler-access-source-20261013-robots",
  "version": 1,
  "publishedAt": "2026-10-13T05:59:31.152Z",
  "modifiedAt": "2026-10-13T05:59:31.152Z",
  "reviewer": "서치코리아 편집부 · Codex 편집 지원",
  "changeNote": "사용자의 한 편씩 계속 작성 지시에 따른 스물다섯 번째 원고다. 크롤러 차단과 매출을 연결한 경쟁사 원문 전체를 읽고 Profound 쇼핑 판매처 링크 조사·브랜드 방문 연구의 방법과 한계를 직접 확인했다. OpenAI의 독립된 검색/학습 제어·사용자 요청 방문, Google-Extended의 실제 학습/grounding 범위와 Google 검색 제외, robots의 기밀 보호 한계·RFC 그룹 선택을 직접 대조했다. 공개 상품 안내·유료 원문·고객별 문서를 나누는 가정 예와 구체적 그룹에 빠진 차단 규칙의 가정 예로 정책·실제 접근·인용·사업 결과의 확인을 구분했다. 생성 대표 이미지 자체를 보고 검토한다. 실제 고객 자료·봇 접근/AI 응답·매출 실험·독립 전문가 인적 검수는 수행하지 않았다.",
  "document": {
    "readerIntents": [],
    "readerTools": [],
    "kind": "source",
    "slug": "crawler-access-source-20261013-robots",
    "title": "robots.txt의 수집 제어와 비공개 자료 보호의 한계",
    "summary": "Google은 robots.txt가 접근 권한을 강제하는 장치가 아니며 비공개 파일 보호에는 비밀번호 등 다른 접근 차단이 필요하다고 설명한다. 수집 금지 URL도 다른 곳의 링크로 검색에 표시될 수 있다.",
    "body": "Google은 robots.txt가 접근 권한을 강제하는 장치가 아니며 비공개 파일 보호에는 비밀번호 등 다른 접근 차단이 필요하다고 설명한다. 수집 금지 URL도 다른 곳의 링크로 검색에 표시될 수 있다.",
    "disclosure": "",
    "authorName": "서치코리아 편집부",
    "authorType": "Organization",
    "verificationSummary": "",
    "publicFiles": [],
    "searchAliases": [],
    "provenance": {
      "relation": "original",
      "originUrl": "https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=en",
      "originPublisher": "Google Search Central",
      "upstreamSourceIds": [],
      "independence": "interested",
      "rationale": "해당 운영자 또는 표준 기관의 원안내다. 실제 사이트의 준수/권한·인용 결과를 검증한 자료가 아니다."
    },
    "url": "https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=en",
    "publisher": "Google Search Central",
    "sourceType": "official",
    "checkedAt": "2026-10-13T05:52:09.244Z",
    "expiresAt": "2027-01-13T00:00:00.000Z",
    "validityMode": "current",
    "historicalScope": "",
    "reviewDueAt": "2026-11-13T00:00:00.000Z",
    "locator": "Introduction L130; limitations L146–156",
    "originalPublishedAt": "",
    "contentHash": "",
    "capture": {
      "versionId": "checked-2026-10-13",
      "capturedAt": "2026-10-13T05:52:09.244Z",
      "finalUrl": "https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=en",
      "method": "public-url",
      "hashScope": "unclassified",
      "retentionReason": "현재 공개 원문 HTML·필요 위치·자체 요약과 편집 검토를 비공개 보존한다. 실제 요청/AI 응답·고객 매출을 측정하지 않았다."
    },
    "rightsStatement": "필요한 정의·제어 범위·방법과 한계를 자체 한국어로 요약하고 원문에 연결한다. 원문 전문·차트·이미지를 공개 복제하지 않는다."
  },
  "relationships": {
    "about": []
  }
}