구글 서치 콘솔에서 '실패: Robots.txt를 찾을 수 없음' 완벽 해결

구글 서치 콘솔에서 '실패: Robots.txt를 찾을 수 없음' 완벽 해결

구글 서치 콘솔에서 '실패: Robots.txt를 찾을 수 없음' 완벽 해결

 

구글 서치 콘솔에서 '실패: Robots.txt를 찾을 수 없음' 오류 메시지는 사이트의 robots.txt 파일이 없거나 Googlebot이 이를 찾지 못하는 경우 발생합니다. 이는 크롤링 및 색인(indexing)에 영향을 줄 수 있으므로 빠르게 해결하는 것이 중요합니다. 아래는 문제를 해결하기 위한 단계별 가이드입니다.

 

1. Robots.txt 파일이 무엇인가요?

robots.txt는 검색 엔진 크롤러가 웹사이트의 특정 페이지를 크롤링할 수 있도록 지침을 제공하는 텍스트 파일입니다. 주로 사이트의 최상위 루트 디렉터리에 위치하며, URL은 다음과 같습니다:

arduino코드 복사

https://example.com/robots.txt

 

2. 오류의 주요 원인

• 파일 없음: 웹사이트에 robots.txt 파일이 생성되지 않음.
• 파일 경로 문제: 파일이 루트 디렉토리에 없거나 잘못된 위치에 저장됨.
• 서버 설정 문제: 파일이 서버에서 올바르게 제공되지 않음.
• 권한 문제: 파일 접근 권한이 없거나 제한됨.
• 일시적 서버 문제: 서버 다운타임이나 네트워크 오류.

3. 해결 방법

3.1 Robots.txt 파일 생성하기

Robots.txt 파일을 직접 작성하려면 다음과 같은 형식으로 만듭니다

User-agent: *

Disallow:

 

특정 페이지를 막으려면 다음과 같이 추가

User-agent: *

Disallow: /private/

 

3.2 파일 업로드

robots.txt 파일을 생성한 후, 사이트의 루트 디렉터리에 업로드합니다.

예: https://example.com/robots.txt FTP나 호스팅 관리 툴(cPanel 등)을 사용해 파일을 업로드합니다.

 

3.3 파일 확인

업로드 후 브라우저에서 아래 URL로 파일이 제대로 표시되는지 확인

https://example.com/robots.txt

파일 내용이 보이면 정상적으로 업로드된 것입니다.

 

3.4 서버 설정 확인

서버가 올바르게 작동하지 않아 robots.txt 파일을 제공하지 못하는 경우

• 서버 로그 확인: 오류 로그에서 파일 요청 실패 원인 파악.
• 서버 설정 수정

Apache: .htaccess 설정 확인.

Nginx: location 블록에서 robots.txt 파일 접근 허용.

 

4. 구글 서치 콘솔에서 확인

• 구글 서치 콘솔 접속: Google Search Console에서 문제를 보고한 사이트를 선택.
• URL 검사: https://example.com/robots.txt URL을 검사.
• 테스트 도구 사용

구글 서치 콘솔의 Robots.txt 테스터를 사용해 파일이 제대로 작동하는지 확인.

 

테스트 후 문제 해결

파일이 제대로 인식된다면, '검사 요청(Validate Fix)' 버튼을 눌러 구글에 다시 확인 요청.

크롤링 문제가 점진적으로 해결됩니다.

 

5. Robots.txt 없이 운영하는 방법 (옵션)

robots.txt 파일이 없어도 구글은 사이트를 크롤링할 수 있지만 오류 메시지를 방지하려면 빈 파일이라도 추가하는 것이 좋습니다.

단, 아래 조건에서는 robots.txt 파일이 없어도 괜찮습니다: 모든 페이지를 크롤링 허용.

사이트에 중요한 비공개 디렉토리가 없음.

6. 추가 팁

• WordPress 사용자의 경우:

플러그인(예: Yoast SEO)을 사용해 robots.txt 파일을 생성하고 관리.

• CDN 사용자:

CDN 설정에서 robots.txt 파일 제공 여부를 확인.

• 호스팅 서비스 문제:

파일 업로드 후에도 오류가 계속된다면 호스팅 제공자에 문의.

 

이 과정을 따라하면 "Robots.txt를 찾을 수 없음" 문제를 쉽게 해결할 수 있습니다. 

 

 

※ 위 과정이 복잡하고 어려우시다면 쉬운 방법으로

   아래 파일을 다운로드하여 티스토리 스킨편집기에 추가해주시면 됩니다. 

robots.txt

0.00MB

 

1. 파일 열면 한글로 작성된 부분을 지우고 본인 티스토리 블로그 주소를 넣어 저장해 주세요

2. 티스토리 관리 - 꾸미기/스킨편집 - html편집 - 파일업로드 - 추가 - 수정된 robots.txt 업로드 후 뒤로 가기 

3. 색인요청 재 실행 

4. 끝.