본문으로 건너뛰기

Robots.txt란 무엇인가요? 검색 엔진 크롤링을 제어하고 웹사이트를 보호하는 방법

robots.txt 파일이 무엇을 하는지, 크롤러가 귀하의 사이트에 접근하는 것을 어떻게 제어하는지, 원하지 않는 페이지의 색인을 피하면서 검색 엔진을 안내하는 데 어떻게 사용하는지 알아보세요.

Robots.txt란 무엇인가요?

robots.txt 파일은 웹사이트의 루트 디렉토리에 위치한 간단한 텍스트 파일로, 검색 엔진 크롤러에게 어떤 페이지나 폴더에 접근할 수 있는지, 없는지를 알려줍니다. 이는 크롤링 행동을 관리하는 데 가장 중요한 파일 중 하나입니다.

Robots.txt가 중요한 이유

  • 크롤링 제어: 크롤러가 관련 없는 페이지에서 시간을 낭비하지 않도록 방지합니다.
  • 개인정보 보호: 개인적이거나 민감한 콘텐츠가 검색 결과에 나타나지 않도록 합니다.
  • 최적화: 크롤링 예산을 가치 있는 콘텐츠에 집중시킵니다.

Robots.txt 작동 방식

크롤러가 귀하의 사이트를 방문하면, 먼저 yourdomain.com/robots.txt를 확인합니다. 이 파일에는 어떤 크롤러가 어떤 경로에 접근할 수 있는지를 지정하는 Allow, Disallow, User-agent와 같은 지시어가 포함되어 있습니다.

Robots.txt에 대한 모범 사례

  • 색인화되기를 원하는 페이지를 차단하지 마세요.
  • Sitemap: 지시어를 사용하여 XML 사이트맵에 대한 링크를 포함하세요.
  • Google의 Robots.txt Tester 도구를 사용하여 파일을 테스트하세요.

예시 Robots.txt 파일

User-agent: *
Disallow: /admin/
Allow: /blog/
Sitemap: https://example.com/sitemap.xml

AutoPush는 키워드를 조사하고 SEO에 최적화된 글을 작성해 매일 웹사이트에 게시합니다. 150개 이상의 언어를 지원합니다.시작하기→