Для чего нужен сrawl-delay в robots.txt?

[soc-smm]

в данном файле есть строка
Crawl-delay: 1.0
нужна ли она вообще?вроде как ни за что не отвечает или я ошибаюсь?

 

[MSE-Script]

Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. ©wikipedia

 

[soc-smm]

понял,спасибо)

 

[Akimu]

понял,спасибо)

Но распознается исключительно яндексом, гугл уведомляет что параметр не учитывается