대부분의 검색 포털 사이트는

검색 로봇이란 것을 가지고 있습니다.


웹사이트를 무작위로 여러 곳을 방문하여

방문한 사이트의 정보를 가져가 수집을 하고 수집한 정보를 저장합니다.

그리고 특정 키워드를 검색하여 일치하는 것이 있을 때

저장한 정보를 보여주는 방식입니다.


대부분 호스팅은 로봇의 접근을 특별히 제한하지 않고 있으며

필요하신 경우 로봇의 접근을 제한할 수 있는 방법인

robots.txt 파일 또는 HTML 파일의 head 태그 부분에 메타 태그를 활용하는 방법이 있습니다.


검색 로봇을 제어하는 방법에 대해서는

아래의 링크에서 자세히 설명되어 있으니

참고하시는 것이 좋겠습니다. ^^