robots.txt 만들기·정리
로컬 처리규칙을 넣어 robots.txt를 만들거나 붙여 넣은 내용을 정리합니다
사용 방법과 처리 기준
규칙을 넣어 robots.txt를 만들거나 붙여 넣은 내용을 정리합니다
도구의 계산과 파일 처리는 브라우저 안에서 이루어집니다. 계산기·단위 변환의 공유 링크를 직접 만들면 값이 URL에 포함됩니다. 계정·방문 통계·광고 관련 정보 처리는 개인정보처리방침을 확인하세요.
현재 제한
- 최대 입력 길이 100,000자
"작업"에서 만들기 또는 정리를 고릅니다. 관리자 페이지·검색 결과처럼 검색엔진에 노출하지 않을 경로를 지정하고, 사이트맵 위치를 알려 줄 때 씁니다.
이 도구로 할 수 있는 일
- 만들기
- 에이전트·Disallow·Allow·Sitemap을 규칙대로 씁니다.
- 정리
- 대소문자·공백이 제각각인 robots.txt를 표준 모양으로 맞춥니다.
robots.txt 만들기·정리 사용 방법
- 1작업 고르기만들기 또는 정리를 고릅니다.
- 2규칙 입력경로를 한 줄에 하나씩 적습니다.
- 3저장사이트 루트에 robots.txt로 올립니다.
활용 예시
관리자·임시 폴더 차단
입력: User-agent *, Disallow /admin, /tmp, Sitemap https://example.com/sitemap.xml
결과: User-agent: *
Disallow: /admin
Disallow: /tmp
Sitemap: https://example.com/sitemap.xml
이럴 때 유용해요
- 새 사이트의 robots.txt를 만들 때
- 서치 콘솔에서 경고가 난 robots.txt를 정리할 때
자주 묻는 질문 (FAQ)
Disallow하면 검색에서 완전히 사라지나요?
크롤링만 막습니다. 다른 곳에서 링크되면 주소가 검색에 나올 수 있으니, 숨기려면 noindex나 로그인 보호를 쓰세요.