Как запретить ненужных ботов через .htaccess

baseroad

Местный житель
Сообщения
361
Реакции
27
Баллы
28
Коллеги, помогите пожалуйста запретить через .htaccess всех ненужных ботов, чтобы уменьшить нагрузку на платное api VK, а то эти роботы разорят меня((((
 

Mp3style

Местный житель
Сообщения
227
Реакции
27
Баллы
28
Там боты яндекс и гугла норм делают ветер !) Бывает перед апом 5 баксов за сутки жрут !(
 

night_music

Местный житель
Клиент
Сообщения
237
Реакции
52
Баллы
28
Коллеги, помогите пожалуйста запретить через .htaccess всех ненужных ботов, чтобы уменьшить нагрузку на платное api VK, а то эти роботы разорят меня((((
Переходите на MSE и будет вам счастье))
 

night_music

Местный житель
Клиент
Сообщения
237
Реакции
52
Баллы
28
со скольки трафа?
Чем больше будет трафика у вас, тем больше запросов будет съедать это платное api.
У меня доходило до 15$ в сутки трата только на оплату сервиса, в итоге отказался и перешел на MSE.
 

Mp3style

Местный житель
Сообщения
227
Реакции
27
Баллы
28
У человека 80к хостов 130-300$ в месяц
 

alex1987

Активист
Сообщения
76
Реакции
7
Баллы
8
У человека 80к хостов 130-300$ в месяц
при такой посещаемости это копейки, главное реализовать кэш, но этим должен заняться специалист, который действительно знает как и что делать, а еще лучше если с подобной тематикой работал, и знает все траблы
 

cscope

Новичок
Клиент
Сообщения
28
Реакции
1
Баллы
3
Чем больше будет трафика у вас, тем больше запросов будет съедать это платное api.
У меня доходило до 15$ в сутки трата только на оплату сервиса, в итоге отказался и перешел на MSE.
А что с MSE существенная экономия получается?
 

Pingvi

Активист
Сообщения
35
Реакции
6
Баллы
8
Не знаю, актуально ли еще, но может кому-то пригодиться.
Первые 4 — самые ебанутые

Код:
<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent "AhrefsBot" bot
SetEnvIfNoCase User-Agent "Mail.RU_Bot" bot
SetEnvIfNoCase User-Agent "^Microsoft.URL" bot
SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bot
SetEnvIfNoCase User-Agent "bingbot" bot
SetEnvIfNoCase User-Agent "^Xenu" bot
SetEnvIfNoCase User-Agent "SemrushBot" bot
SetEnvIfNoCase User-Agent "archive.org_bot" bot
SetEnvIfNoCase User-Agent "Baiduspider" bot
SetEnvIfNoCase User-Agent "yahoo! slurp" bot
SetEnvIfNoCase User-Agent "DuckDuckBot" bot
SetEnvIfNoCase User-Agent "MJ12bot" bot
Deny from env=bot
</IfModule>
Обязательно проверьте через bertal.ru, выбрав нужный User-Agent.

Если не сработает, юзайте такой:
Код:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Mail.RU_Bot[OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule ^(.*)$ – [F,L]
Можете еще запретить все IP, кроме СНГ и user-agent Googlebot, но для начала рекомендую глянуть что у вас по забугорному трафику. Запрещается вот так
Код:
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteBase /
# Запретить все IP, кроме СНГ, Google:
RewriteCond %{REMOTE_ADDR} !^(?:2|3|5|3[17]|46|62|7[7-9]|8[0-9]|9[0-5]|1(?:09|28|3[046]|4[1569]|5[189]|64|7[168]|8[58]|9[2-5])|21[237])\..*$
RewriteCond %{HTTP_USER_AGENT} !Googlebot [NC]
RewriteRule ^.*$ - [F,L]
</IfModule>
 
Сверху