Robots.txt 생성기
Copied!
Crawlers
Rules (Allow / Disallow) — check to include
Sitemap URL (optional)
Generated robots.txt
체크박스를 통해 유효한 robots.txt를 생성하는 무료 robots.txt 생성기: 대상으로 할 크롤러(Google, Bing, Yahoo, DuckDuckGo, Baidu)와 포함할 Allow/Disallow 경로를 선택하세요. 필요에 따라 사이트맵 URL을 추가할 수 있습니다. 결과를 복사하여 사이트 루트에 robots.txt로 업로드하세요. 모든 작업이 브라우저에서 완전히 실행됩니다. 서버가 필요하지 않습니다.
이 Robots.txt 생성기를 사용하는 이유는 무엇인가요?
- 시각적: 구문을 기억할 필요가 없습니다; 체크박스로 크롤러와 규칙을 선택하세요.
- 일반 규칙: /admin, /api, /private, /sitemap.xml과 같은 미리 정의된 경로.
- 사이트맵: 사이트맵 줄을 추가할 수 있는 선택적 필드.
- 복사: 전체 robots.txt 내용을 한 번의 클릭으로 복사.
주요 기능
- User-agent 차단: Googlebot, Bingbot, Yahoo Slurp, DuckDuckBot, Baiduspider 중 하나 이상을 포함하세요.
- 허용/차단: 허용: /, 차단: /admin, /api, /private, 그리고 허용: /sitemap.xml으로 전환하세요.
- Sitemap URL: 선택적 Sitemap: http://www.tiptinker.com/sitemap.xml
- 실시간 출력: 옵션을 변경할 때마다 텍스트가 업데이트됩니다.
작동 방식
이 도구는 선택한 크롤러당 하나의 User-agent 블록을 생성합니다. 각 블록은 선택한 허용 및 차단 라인을 나열합니다. Sitemap URL을 입력하면 Sitemap 라인이 추가됩니다. 결과는 표준 robots.txt 형식의 일반 텍스트로, 도메인 루트에 robots.txt로 저장할 준비가 되어 있습니다.
Robots.txt 생성기 사용해 보기
원하는 크롤러와 규칙을 선택하고, 선택적으로 Sitemap URL을 추가하세요. 옵션을 변경할 때마다 출력이 업데이트됩니다. 결과를 복사하여 robots.txt 파일에 붙여넣으세요.