네이버 robots.txt 등록 - blah..

네이버 웹마스터 도구를 이용해서 네이버 검색 엔진에 블로그나 싸이트를 등록하셨다면, robots.txt라는 파일도 등록하라고 나올텐데요. 결론부터 말씀드리면 꼭 등록을 안하셔도 상관없습니다. 네이버나 구글처럼 검색사이트는 크롤링이라고 여러분들의 블로그 정보들을 항상 긁어 모읍니다. 크롤링에 대한 기준을 정의한 파일이 바로 robots.txt입니다. 만약 이 파일이 없다면 등록하신 블로그의 내용들을 전부 긁어갈 수 있게 됩니다. 어차피 검색에 노출이 되어야 하기 때문에 이 파일은 없어도 무관합니다만 만약 적용한다면 정보에 민감한 글이나 정보들을 혹시라도 긁어 갈 수 있기 때문에 해당 텍스트 파일을 여러분들의 의도에 맞게 설정하는 것이 중요합니다. 특히 블로그가 아닌 회원정보를 저장하는 사이트 등에는 꼭 필수로 등록해야합니다.

 

---

robots.txt?

 

robots.txt는 크롤링을 수행하는 검색엔진의 로봇등의 접근을 제어하기 위한 규약입니다. 권고안이 아니기 때문에 꼭 지켜야 할 의무는 없습니다. 그리고 권고안이 아니기 때문에 일부 악성 코드, 스파이웨어 등 로봇은 해당 프로토콜을 고의적으로 피할 수도 있습니다.

 

robots.txt 위치

 

해당 파일을 블로그나 사이트의 최상위(루트) 디렉토리에 올리시면 됩니다. 해당 파일은 모두가 볼 수 있습니다. 

 

예) outdevelop.tistory.com/robots.txt

 

robots.txt 예시

 

 

로봇 배제 표준 - 위키백과, 우리 모두의 백과사전

 

---

네이버 robots.txt 등록 방법

 

단계 1. Naver Search Advisor 접속

 

1. 접속 후 웹마스터 도구 클릭

2. 사이트 목록에서 robots.txt를 생성할 사이트 선택 후 접속

 

네이버 사이트 등록 방법은 아래 글 참조

네이버 검색 등록. 네이버에 사이트 등록하는 방법 - blah..

 

단계 2. robots.txt 생성

1. robots.txt 클릭

2. robots.txt 간단 생성에서 모든 검색로봇, 수집을 허용합니다. 로 변경

3. 다운로드 클릭하여 robots.txt 생성

 

단계 3. tistory에 robots.txt 등록하기

 

1. 블로그 관리 - 꾸미기 - 스킨편집 실행

2. 스킨 편집 - html 수정 - 파일업로드 클릭

3. +추가 버튼으로 robots.txt 파일 선택 후 적용 클릭

 

---

꼭 등록을 해야하는 것은 아니지만 그래도 한번은 올려보는 것도 괜찮을 것으로 생각합니다. 다만 색인 등록이나 검색이 몇일 걸려도 검색창에 노출이 안된다면 robots.txt 파일을 검토해보시는 것도 좋을 것 같습니다.

 

감사합니다.