#頻繁にアクセスしてくるクローラー対策

User-agent: ロボットの名前
Crawl-delay: 120