Robots.txt 생성기
검색 엔진 크롤러를 위한 robots.txt 파일을 쉽게 생성하세요
기본 설정
검색 엔진별 설정
AI 크롤러 설정
활성화하면 다음 AI 크롤러들이 차단됩니다:
사이트맵 설정
크롤 딜레이
생성된 robots.txt
# robots.txt generated by 블로그매니져 # https://example.com/robots.txt User-agent: * Allow: /
robots.txt 사용 안내
- 파일 위치: robots.txt 파일은 반드시 웹사이트 루트 디렉토리에 위치해야 합니다. (예: https://example.com/robots.txt)
- 대소문자: 파일명은 반드시 소문자로 작성해야 합니다.
- 적용 시간: 검색 엔진이 변경사항을 반영하는 데 며칠이 걸릴 수 있습니다.
- 주의사항: robots.txt는 권고 사항이며, 악의적인 크롤러는 이를 무시할 수 있습니다.
- 민감한 정보: 민감한 데이터는 robots.txt 대신 인증을 통해 보호하세요.
완료되었습니다!
Robots.txt 완벽 가이드
robots.txt는 검색 엔진 크롤러에게 웹사이트의 어떤 부분을 크롤링할 수 있는지 알려주는 텍스트 파일입니다. 올바른 robots.txt 설정은 SEO의 기본입니다.
robots.txt가 중요한 이유
크롤링 제어
검색 엔진이 접근할 수 있는 페이지를 제어합니다.
서버 부하 감소
불필요한 크롤링을 방지하여 서버 리소스를 절약합니다.
민감 정보 보호
관리자 페이지 등 노출을 원하지 않는 경로를 차단합니다.
AI 크롤러 관리
GPTBot, ChatGPT 등 AI 크롤러의 접근을 제어합니다.
중요 알림
robots.txt는 권고 사항입니다. 선의적인 크롤러는 이를 따르지만, 악의적인 크롤러는 무시할 수 있습니다. 민감한 정보는 별도의 인증으로 보호하세요.
주요 지시어
| 지시어 | 설명 | 예시 |
|---|---|---|
| User-agent | 규칙을 적용할 크롤러 지정 | User-agent: Googlebot |
| Disallow | 크롤링을 차단할 경로 | Disallow: /admin/ |
| Allow | 크롤링을 허용할 경로 | Allow: /public/ |
| Sitemap | 사이트맵 위치 알림 | Sitemap: https://example.com/sitemap.xml |
robots.txt 작성 팁
- 파일은 반드시 루트 디렉토리에 위치해야 합니다 (example.com/robots.txt)
- 파일명은 반드시 소문자로 작성하세요
- 사이트맵 URL을 함께 명시하면 검색 엔진이 사이트 구조를 파악하는 데 도움이 됩니다
관련 키워드
robots.txt
로봇츠 파일
크롤러 설정
SEO 최적화
AI 크롤러 차단
Googlebot