Webサイトのログを見ていると、Bingbotが短時間に大量のアクセスをしていることが分かり、サーバーの負荷になっているようだったのでrotbots.txtで対策してみました。

robots.txtに追加した設定は以下のような感じです。

User-agent: Bingbot
Crawl-delay: 30

Crawl-delayを追加すると、指定した秒数を空けてアクセスしてくれるようになるみたいです。今回の場合は30秒に1回以下の頻度でアクセスされることになります。（設定できる値は1から30まで）

---

.htaccessでDenyしたくはないけれど、大量のアクセスは気になるという場合に便利なCrawl-delayですが、現状ではBingbot以外ではほぼ使えない状態みたいです。