티스토리 - robots.txt 가 존재하지 않습니다. 오류해결

티스토리 – robots.txt 가 존재하지 않습니다. 오류해결해봅시다
티스토리를 셋팅 중 네이버 웹마스터도구 등록을 마치고 robots.txt 관련 오류를 발견하여 수정을 해야하는데 존재하지 않는다면 당황스럽죠.

robots.txt 가 존재하지 않습니다.

저도 제 티스토리 블로그 최적화 검사를 위해 네이버 웹마스터도구를 통해 제 블로그를 체크해보았습니다.

물론 저도 네이버 웹마스터 도구에서 ‘robots.txt 가 존재하지 않습니다.’ 라는 오류가 발견되었어요.

어떻게 수정할 수 있을지 알아봅시다.

네이버 검색로봇 접근 오류 안내창에서

티스토리 블로그 스킨에 robots.txt 없으면 위와 같이 ‘robots.txt 가 존재하지 않습니다.’ 라는 경고가 뜹니다.

네이버 웹마스터 도구 – robots.txt 오류 수정

네이버 검색로봇 간단 생성

먼저 robots.txt 오류는 내 블로그에 네이버 로봇 혹은 구글, 빙 검색 로봇에 대한 안내가 없습니다. 그래서

‘모든 검색로봇’으로 설정합니다. 구글, 빙에 티스토리 블로그 노출을 원하지 않으면, 네이버 검색로봇만 선택하시면 됩니다.
‘모두 방문, 수집하도록 허용합니다.’ 부분에 체크해주세요.

다운로드 버튼 클릭

티스토리 블로그에 robots txt파일 추가

1.티스토리 블로그 관리 메뉴에서 2.스킨편집으로 들어갑니다.

스킨 편집창에서 [3.파일업로드] 창에서 [4.추가] 버튼을 클릭하여 위에서 간단 5.생성한 robots.txt 파일을 첨부합니다.

티스토리 메타태그 플러그인

robots.txt 관련 태그를 입력해줘야 하는데요.

티스토리에 새로 생긴 플러그인을 이용하려고 합니다.

티스토리 블로그 관리 메뉴에서 플러그인 클릭

‘메타 태그 등록’ 플러그인 실행

네이버 검색로봇 robots txt 태그 추가

<meta name = “Robots” content=”index,follow”>

<meta name = “Yeti” content=”index,follow”>

robots.txt 태그 중 Yeti는 네이버검색 로봇의 이름입니다.

robot.txt를 입력하는 작업은 끝났습니다.

네이버 웹마스터 도구 – robot.txt 적용 확인

로봇툴 검증 수집 요청

네이버 웹마스터 도구 좌측 메뉴 중 검증 > robots.txt 로 들어갑니다. 여기서 로봇룰 검증에 위치한 수집 요청을 클릭하면 위와 같이 내 블로그에 적용된 robots.txt 명령어들을 확인할 수 있습니다.

User-agent: *

Disallow: /owner

Disallow: /manage

Disallow: /admin

Disallow: /oldadmin

Disallow: /search

Disallow: /m/search

Disallow: /m/admin

Disallow: /like

Allow: /

User-agent: Mediapartners-Google

Allow: /

User-agent: bingbot

Crawl-delay: 30

robots.txt 설명

Disallow – 특정 페이지 수집을 금지.

Allow – 특정 페이지 수집을 허용.

/owner, /manage, /search, /like, /admin – 블로그 관리자 페이지로 웹 사이트에 검색 등록 금지.

/ – 도메인 뒤 모든 페이지를 색인해라는 명령.

로봇룰 검증 수집 확인방법

네이버 검색 로봇 작동여부 확인
네이버 웹마스터 도구 [검증] > [웹 페이지 최적화]에서 또한 robots.txt 및 로봇 메타 태그가 제대로 작동하고 있는지 확인할 수 있습니다.

네이버 웹마스터 도구 [검증] > [웹 페이지 최적화]에서 또한 robots.txt 및 로봇 메타 태그가 제대로 작동하고 있는지 확인할 수 있습니다.