최근 우크라이나산 Spybot인 AhrefBot Spider가 기승입니다.
서버 CPU는 5%도 안쓰는데 이상하게 사이트가 느려서 웹서버 로그를 봤더니 AhrefBot이라는 Bot이 제 서버를 괴롭히고 있었습니다.
정보의 바다를 항해 해 보니 robots.txt 맨 믿줄에 다음의 두 줄을 넣으라고 하더군요.
User-agent: AhrefsBot
Disallow: /
참고로 제 사이트의 robots.txt는 다음과 같이 구성하였습니다.
User-agent: *
Crawl-delay: 60
Sitemap: http://kurapa.com/sitemap.xml
Disallow: /
'Network' 카테고리의 다른 글
| DLINK DIR-825 DD-WRT 설치방법 (0) | 2013.08.28 |
|---|---|
| 주요 ISP DNS 주소 (0) | 2013.07.17 |
| 보안 콘텐츠만 표시됩니다 라고 팝업이 귀찮게 자주 떠서 인터넷 사용이 불편 한 경우 (1) | 2013.02.17 |
| KT MVNO 서비스 SIMple - AT&T의 Pay as you Go와 비슷한 충전 가능한 선불 유심 단독 개통 서비스 (0) | 2012.06.23 |
| myhosting.com VPS 서비스 사용시 자동 결제 설정 방법 - 3개월 단위로 자동 결제를 설정 또는 해지 (0) | 2012.06.16 |
