Как запретить ненужных ботов через .htaccess

[baseroad]

Коллеги, помогите пожалуйста запретить через .htaccess всех ненужных ботов, чтобы уменьшить нагрузку на платное api VK, а то эти роботы разорят меня((((

 

[Mp3style]

Там боты яндекс и гугла норм делают ветер !) Бывает перед апом 5 баксов за сутки жрут !(

 

[night_music]

Коллеги, помогите пожалуйста запретить через .htaccess всех ненужных ботов, чтобы уменьшить нагрузку на платное api VK, а то эти роботы разорят меня((((

Переходите на MSE и будет вам счастье))

 

[baseroad]

Там боты яндекс и гугла норм делают ветер !) Бывает перед апом 5 баксов за сутки жрут !(

со скольки трафа?

 

[night_music]

со скольки трафа?

Чем больше будет трафика у вас, тем больше запросов будет съедать это платное api.
У меня доходило до 15$ в сутки трата только на оплату сервиса, в итоге отказался и перешел на MSE.

 

[Mp3style]

У человека 80к хостов 130-300$ в месяц

 

[baseroad]

У человека 80к хостов 130-300$ в месяц

а кеш стоит?

 

[Mp3style]

а кеш стоит?

конечно, зачем лишняя нагрузка

 

[alex1987]

У человека 80к хостов 130-300$ в месяц

при такой посещаемости это копейки, главное реализовать кэш, но этим должен заняться специалист, который действительно знает как и что делать, а еще лучше если с подобной тематикой работал, и знает все траблы

 

[cscope]

Чем больше будет трафика у вас, тем больше запросов будет съедать это платное api.
У меня доходило до 15$ в сутки трата только на оплату сервиса, в итоге отказался и перешел на MSE.

А что с MSE существенная экономия получается?

 

[night_music]

А что с MSE существенная экономия получается?

ну да, больше чем полгода сайты работают без капч и платных api и дают трафик

 

[ovozz]

А что с MSE существенная экономия получается?

мсе купил 1 раз и расходов больше нет

 

[cscope]

мсе купил 1 раз и расходов больше нет

ну вот, это уже весомый аргумент, спс.

 

[Pingvi]

Не знаю, актуально ли еще, но может кому-то пригодиться.
Первые 4 — самые ебанутые

<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent "AhrefsBot" bot
SetEnvIfNoCase User-Agent "Mail.RU_Bot" bot
SetEnvIfNoCase User-Agent "^Microsoft.URL" bot
SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bot
SetEnvIfNoCase User-Agent "bingbot" bot
SetEnvIfNoCase User-Agent "^Xenu" bot
SetEnvIfNoCase User-Agent "SemrushBot" bot
SetEnvIfNoCase User-Agent "archive.org_bot" bot
SetEnvIfNoCase User-Agent "Baiduspider" bot
SetEnvIfNoCase User-Agent "yahoo! slurp" bot
SetEnvIfNoCase User-Agent "DuckDuckBot" bot
SetEnvIfNoCase User-Agent "MJ12bot" bot
Deny from env=bot
</IfModule>

Обязательно проверьте через bertal.ru, выбрав нужный User-Agent.

Если не сработает, юзайте такой:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Mail.RU_Bot[OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule ^(.*)$ – [F,L]

Можете еще запретить все IP, кроме СНГ и user-agent Googlebot, но для начала рекомендую глянуть что у вас по забугорному трафику. Запрещается вот так

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteBase /
# Запретить все IP, кроме СНГ, Google:
RewriteCond %{REMOTE_ADDR} !^(?:2|3|5|3[17]|46|62|7[7-9]|8[0-9]|9[0-5]|1(?:09|28|3[046]|4[1569]|5[189]|64|7[168]|8[58]|9[2-5])|21[237])\..*$
RewriteCond %{HTTP_USER_AGENT} !Googlebot [NC]
RewriteRule ^.*$ - [F,L]
</IfModule>