검색봇을 차단하라!

잘 알려지지 않은 개인 홈페이지에 방문자수가 비약적으로 증가한다?

예전 게시판 형태의 제로보드를 사용한 홈페이지를 운영할때에는
navyism@log analyzer 라는 프로그램을 사용하여 접속자 통계 및 접속 경로를 추적했었다.
하지만 테터툴즈라는 설치형 블로그를 사용하기 시작하면서 부터는 접속자 수가 증가하기 시작했다.
물론 테터툴즈 초기 사용시에는 navyism@log analyzer를 같이 사용하면서
접속자 수의 불일치에 의아해 하기도 했었지만
접속자 세션유지나 카운트 방식등의 차이로 인하여 그러려니 하고 있었다.

언젠가부터 알게되었지만 테터툴즈 기본 통계프로그램은 로봇의 접속까지 더해지는듯 하다.
그래서 실질적 방문자가 5명이어도 다른 IP의 로봇들이 접속을하면
테터툴즈상의 방문자 수가 증가하는 현상이 발생한다.

다시 태터툴즈를 사용하면서 알게된 접속자 체크 프로그램인 twatch
이 twatch를 사용하고나니 로봇의 접속이 확실해졌다.

그래서 서핑을 하고 홈페이지 수정을 하기위해 소스를 들여다 보던중 발견한 예전에 적어놓았던 메타태그.. - -;;

<meta content="NOINDEX, NOFOLLOW, NOSNIPPET, NOARCHIVE" name="ROBOTS">

그런데도 자꾸 들어오고 있었다는 말인데..
내가 루트 index.html 에만 적용을 해서 그런것일까?
현재 계정의 루트가 아닌 하위 폴더에 테터툴즈가 설치되어 있는 관계로
사용자가 홈페이지 접속시 루트에서 테터툴즈의 위치로 자동 이동되게 되어있다.

즉, 테터툴즈의 메인 소스나 스킨등에 저 메타태그를 넣지 않는 이상
테터툴즈에는 직접적으로 작용을 하지 않는다는 말이다.
( 참고로 테터툴즈는 .htaccess 파일을 이용하여
index 파일이 설치된 폴더의 루트에 존재하지 않아도 작동되게 되어 있다. )

그래서 다시 이곳저곳을 검색하여 robots.txt를 작성하여 계정의 루트에 적용시켰다.
( 구글 사이트의 검색로봇차단법을 읽어보면 어느 위치에 설치하냐에 따라 일이 귀찮아진다고 나와있다.
그리고 다른 사이트의 내용의 경우엔 검색로봇에게 영향을 주지 않을 수 있다고 나와있다. )

직접 제작한 서버가 아닌 분배형 계정에서의 robots.txt의 위치가 아리송해서 안해왔던것이었는데
마침 사용중인 계정의 질문/답변란에 계정의 루트에 설치하라는 글이 있어서 일단 적용을 했다.

이런 저런 내용을 얻으면서 덩달아 얻은 내용들이
.htaccess 의 내용중에서
register_globals 와 php_value session.use_trans_sid 의 내용들이었다.

검색로봇과 관련이 없다면 없고 있다면 있을 내용들이었는데
더군다나 register_globals의 경우 내가 직접 계정의 웹마스터에게 수정요구를 한 사항이었다.
( 그런데 무슨 이유로 .htaccess를 수정했는지 기억이 나지 않을뿐더러
초기 설정 내용도 기억나지 않아 예전에 질문한 내용을 참조로 다시 수정을 했다. )

register_globals의 경우에는
php 프로그램의 사용상의 제약과 불편이 많이 따르는 문제가 있어서 수정을 한것 같긴한데,
php_value session.use_trans_sid 는 대충 검색하니 어떤 기능인가에 대한 설명과
옵션에 대한 설명이 부족했다. ( 이래서 영어 공부를 해야 하나보다. 한글 사이트만 뒤지니... - -;;; )

.htaccess 내용을 괜히 수정해서 홈페이지 운영이 안될지도 모르겠다.. -,.-;

부슬부슬 비오는 야심한 새벽에 괜히 불타올라서
이래저래 공부도 하고 느끼기도 하고...

일단 검색로봇의 차단은 적용을 했으나 바로 적용되는 것이 아닌
시간을 두고 적용이 된다고 하니 기다려 봐야겠다.
( 나중되면 분명히 잊어버릴것 같다.. - -; )