최근 우크라이나산 Spybot인 AhrefBot Spider가 기승입니다.

 

서버 CPU는 5%도 안쓰는데 이상하게 사이트가 느려서 웹서버 로그를 봤더니 AhrefBot이라는 Bot이 제 서버를 괴롭히고 있었습니다.

 

정보의 바다를 항해 해 보니 robots.txt 맨 믿줄에 다음의 두 줄을 넣으라고 하더군요.

 

User-agent: AhrefsBot
Disallow: /

 

 

참고로 제 사이트의 robots.txt는 다음과 같이 구성하였습니다.

User-agent: *
Crawl-delay: 60
Sitemap: http://kurapa.com/sitemap.xml

User-agent: AhrefsBot
Disallow: /

Dynamic IP 기반으로 웹서버를 운영하고 있는 사람이라면, 메일을 발송했는데 못받았다고 하는 경우를 종종 볼 수 있을 것이다.

이때 자신의 웹서버가 스팸서버로 등록되어져 있지는 않은지 확인 해 볼 필요가 있다.

 

다음의 웹사이트에 접속하여 스팸등록여부를 확인해보도록 하자.

 

http://www.spamhaus.org/lookup.lasso

 

그리고 스팸으로 등록되어져 있다면 SBL, PBL, XBL 등을 점검하여 등록여부를 알려줄 것이다.

 

자신이 운영하는 웹서버의 IP Address가 스팸으로 등록되어져 있을 경우에 해제를 원하면 해당 링크를 클릭하여 해제를 요청하면 된다.

'Network' 카테고리의 다른 글

정말 싼 웹호스팅 업체  (0) 2009.05.27
구글 빅테이블(BigTable)의 미래와 전망  (0) 2009.05.12
LDAP의 장점은 빠른 검색 속도  (0) 2009.04.24
LDAP이란?  (0) 2009.04.24
GeoIP 테스트 URLs - 일명 위치 추적 사이트  (0) 2009.01.16

+ Recent posts