최근 우크라이나산 Spybot인 AhrefBot Spider가 기승입니다.

 

서버 CPU는 5%도 안쓰는데 이상하게 사이트가 느려서 웹서버 로그를 봤더니 AhrefBot이라는 Bot이 제 서버를 괴롭히고 있었습니다.

 

정보의 바다를 항해 해 보니 robots.txt 맨 믿줄에 다음의 두 줄을 넣으라고 하더군요.

 

User-agent: AhrefsBot
Disallow: /

 

 

참고로 제 사이트의 robots.txt는 다음과 같이 구성하였습니다.

User-agent: *
Crawl-delay: 60
Sitemap: http://kurapa.com/sitemap.xml

User-agent: AhrefsBot
Disallow: /

+ Recent posts