# robots.txt for insamedi.ai
# 인사메디AI — GEO(생성형 AI 검색 최적화) 정책: AI 크롤러 전면 허용
# Last-Updated: 2026-09-01
# 변경 이력:
#   2026-08-26  AI 크롤러 전면 허용 + Sitemap 지시문 (기존 운영본)
#   2026-09-01  GEO 지식자산 허브(/geo/) 명시적 허용 주석 + LLM 파일 위치 안내 추가

# ── 기본 정책: 모든 검색엔진 허용 ──
User-agent: *
Allow: /

# ── AI 크롤러 명시적 허용 (GEO 전략 핵심) ──
# OpenAI (ChatGPT)
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google (Gemini / AI Overview)
User-agent: Google-Extended
Allow: /

# Apple
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Meta
User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

# 기타 주요 AI/검색 크롤러
User-agent: Bingbot
Allow: /

User-agent: Yeti
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: CCBot
Allow: /

# ── GEO 지식자산 경로 (신규 콘텐츠, 위의 전체 허용 정책으로 이미 크롤링 가능) ──
# /geo/index.html                      GEO 지식 허브 (M1~M9 모듈)
# /geo/hospital-marketing-*.html       키워드별 AEO 랜딩 5종

# ── Sitemap & LLM 파일 ──
Sitemap: https://insamedi.ai/sitemap.xml

# AI 학습용 지식 파일 (llms.txt 표준)
# https://insamedi.ai/llms.txt       — 크롤러용 요약 인덱스
# https://insamedi.ai/llms-full.txt  — FAQ 전문·상품 상세·칼럼 30편·키워드 가이드 전체