Всем привет, последнее изменение вк от 10 апреля было ограничение на количество запросов с мобильной версии. Из за чего после определенного количества поисковых запросов ограничивался поиск. Высылал небольшой список действий, как обойти это решение, в данном посте распишу всё подробно
1) Ограничить индексацию
2) Побанить лишних ботов (можно открыть лог сервера и чекать, кто грузит сайт)
3) Прочекать рукамим старые акки, удалить «паленные»
4) Загрузить не менее десятка-полтора новых
Первое, что надо уяснить, это 95% запросов к двигу делают поисковые боты. Из за огромного количества страниц в индексе, они просто сутками насилуют сайт, на котором может даже не быть посещаемости, таким образом именно боты делают большое количество запросов к вк
1) Ограничиваем количество обращений
В гугле
В яндексе
Везде ставим на минимум который возможно
Перед этим надо добавить сайты в яндекс вебмастер и в гугл вебмастер, добавлять много сайтов на один аккаунт не надо 2-3 сайта достаточно
2) Баним ботов на уровне сервера, нам они не нужны
Привожу пример настройки у себя на Centos 7, если у кого то другая стоит система на серве, то обращайтесь к хостингу с просьбой заблокать ботов
Заходим isp панель через пользователя root
Переходим в папку /etc/nginx/ и создаем там файл block.conf
В файле мы записываем список ботов которые надо заблокать
Я блокировал всех, в том числе яндекс бота, так как от него нету трафика,именно он делал 90% нагрузки
В данном файле собрал самый большой список ненужных ботов. Вы же можете посмотреть какие боты грузят ваш сервер посмотрев логи и добавить название бота через прямой слэш "|"
Как посмотреть логи?
В моем случае это /var/www/httpd-logs/site.ru.access.log
Нажимаем изменить и смотрим
Например строка
216.244.66.244 - - [13/Apr/2018:13:46:49 +0300] "GET /robots.txt HTTP/1.1" 444 0 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, [email protected])"
Мы видим, что бот называется Dotbot и он является ботом moz.com
На данный момент так как у меня боты заблокированы, для него ответ 444, то есть соединение сброшено
У вас же от таких ботов ответ будет 200
Можно сделать поиск по файлу со словом bot и увидеть от кого больше всего ботов и внести их в ваш список блокировки
Далее нам необходимо прописать к каждому домену этот черный список в настройки nginx для каждого сайта
У меня был путь такой
/etc/nginx/vhosts/пользователь/site.ru.conf
В этом файле добавим подключение вашего файла
include /etc/nginx/block.conf;
После этого сохраняем наш файл конфига и радуемся, проверить работает он или нет ,можно опять же открыть логи сайта, для которого вы внесли изменения и посмотреть для ваших ботов должен отдаваться ответ 444
После того как заблокировал ботов, нагрузка сервера упала в разы
3) Прочекать вручную ваши акки и удалить которые уже попали под ограничение. Берем мобильный телефон авторизуемся в вк с вашего акка и смотрим ищет ли на сайте вк треки. Если вы как пользователь вк не можете воспользоваться поиском, то акк удаляем
4) Купить свежих акков
Акки покупаю http://akitut.ru
Брать надо те акки, где написано "Можно зайти с любого IP"
Ценники на них от 10 до 20 рублей примерно
Дорогие нет смысла брать, нам важно, чтобы можно было зайти с любого айпи
Также стоит упомянуть, что большинство таких акков - это просто взломанные акки и со времени пользователи их могут восстановить и сменить пароль - это нормальная ситуация
Периодически заходим на ftp сайта в папку Temp и удаляем те акки, которые не смогли авторизоваться, вероятней всего там пользователи уже сменили пароль. Акки которые не смогли авторизоваться будут весить 500кб примерно
Сортируем их по колонке с размером и периодически в админке их чистим
В среднем на 2-4к трафика на один сайт вам потребуется 20-30 акков и будет всё стабильно работать
Акки используем только для одного сайта и на одном айпи желательно не больше 2-3 сайтов
У кого остались вопросы пишем в комментариях
1) Ограничить индексацию
2) Побанить лишних ботов (можно открыть лог сервера и чекать, кто грузит сайт)
3) Прочекать рукамим старые акки, удалить «паленные»
4) Загрузить не менее десятка-полтора новых
Первое, что надо уяснить, это 95% запросов к двигу делают поисковые боты. Из за огромного количества страниц в индексе, они просто сутками насилуют сайт, на котором может даже не быть посещаемости, таким образом именно боты делают большое количество запросов к вк
1) Ограничиваем количество обращений
В гугле
В яндексе
Везде ставим на минимум который возможно
Перед этим надо добавить сайты в яндекс вебмастер и в гугл вебмастер, добавлять много сайтов на один аккаунт не надо 2-3 сайта достаточно
2) Баним ботов на уровне сервера, нам они не нужны
Привожу пример настройки у себя на Centos 7, если у кого то другая стоит система на серве, то обращайтесь к хостингу с просьбой заблокать ботов
Заходим isp панель через пользователя root
Переходим в папку /etc/nginx/ и создаем там файл block.conf
В файле мы записываем список ботов которые надо заблокать
Я блокировал всех, в том числе яндекс бота, так как от него нету трафика,именно он делал 90% нагрузки
PHP:
if ($http_user_agent ~* "MauiBot|LinkpadBot|YandexBot|Sosospider|Sogou web spider|MegaIndex.ru|aesop_com_spiderman|SemrushBot|backweb|batchftp|black.hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye|cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck|cosmos|crescent|custo|da|diibot|disco|dittospyder|dragonfly|drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon|emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky|frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet|grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot|infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar|joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb|likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch|mata.hari|memo|microsoft.url|midown.tool|miixpc|mirror|missigua|mister.pix|moget|mozilla.newt|nameprotect|navroad|backdoorbot|nearsite|net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot|attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer|offline.navigator|openfind|outfoxbot|pagegrabber|papa|pavuk|pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker|psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot|repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload|snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot|superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport|telesoft|the.intraformant|thenomad|tighttwatbot|titan|urldispatcher|turingos|turnitinbot|urly.warning|vacuum|vci|voideye|whacker|libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse|zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|sauger|site.quester|whack|craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|grabber|webpictures|Jakarta|User-Agent|libwww|lwp-trivial|PHPCrawl|WEP Search|Missigua Locator|ISC Systems iRc|Aboundex|360Spider|Java|Cogentbot|BunnySlippers|Cegbfeieh|AIBOT|Demon|Devil|Wonder|Foobot|Kenjin Spider|Density|LinkextractorPro|LWP::Simple|MassDownloader|Mass Downloader|NetZIP|NG|Metasearch|WebFetch|WebCopier|Webclipping|WebBandit|WebAuto|WebGo|Web.Image.Collector|WebLeacher|WebmasterWorldForumBot|WebReaper|WebSauger|eXtractor|Webster|WebStripper|WebWhacker|WebZIP|Slurp|slurp|msnbot|bingbot|musobot|MJ12bot|AhrefsBot|NjuiceBot|Gigabot|Baiduspider|JS-Kit|Voyager|PostRank|PycURL|Aport|ia_archiver|DotBot|SurveyBot|larbin|Butterfly|libwww|Wget|SWeb|LinkExchanger|Soup|WordPress|spbot|MLBot|InternetSeer|FairShare|Yeti|Birubot|YottosBot|Linguee|Ezooms|lwp-trivial|Purebot|kmSearchBot|SiteBot|CamontSpider|ptd-crawler|HTTrack|suggybot|ttCrawler|Nutch|SputnikBot|SputnikImageBot" ) { return 444; }В данном файле собрал самый большой список ненужных ботов. Вы же можете посмотреть какие боты грузят ваш сервер посмотрев логи и добавить название бота через прямой слэш "|"
Как посмотреть логи?
В моем случае это /var/www/httpd-logs/site.ru.access.log
Нажимаем изменить и смотрим
Например строка
216.244.66.244 - - [13/Apr/2018:13:46:49 +0300] "GET /robots.txt HTTP/1.1" 444 0 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, [email protected])"
Мы видим, что бот называется Dotbot и он является ботом moz.com
На данный момент так как у меня боты заблокированы, для него ответ 444, то есть соединение сброшено
У вас же от таких ботов ответ будет 200
Можно сделать поиск по файлу со словом bot и увидеть от кого больше всего ботов и внести их в ваш список блокировки
Далее нам необходимо прописать к каждому домену этот черный список в настройки nginx для каждого сайта
У меня был путь такой
/etc/nginx/vhosts/пользователь/site.ru.conf
В этом файле добавим подключение вашего файла
include /etc/nginx/block.conf;
После этого сохраняем наш файл конфига и радуемся, проверить работает он или нет ,можно опять же открыть логи сайта, для которого вы внесли изменения и посмотреть для ваших ботов должен отдаваться ответ 444
После того как заблокировал ботов, нагрузка сервера упала в разы
3) Прочекать вручную ваши акки и удалить которые уже попали под ограничение. Берем мобильный телефон авторизуемся в вк с вашего акка и смотрим ищет ли на сайте вк треки. Если вы как пользователь вк не можете воспользоваться поиском, то акк удаляем
4) Купить свежих акков
Акки покупаю http://akitut.ru
Брать надо те акки, где написано "Можно зайти с любого IP"
Ценники на них от 10 до 20 рублей примерно
Дорогие нет смысла брать, нам важно, чтобы можно было зайти с любого айпи
Также стоит упомянуть, что большинство таких акков - это просто взломанные акки и со времени пользователи их могут восстановить и сменить пароль - это нормальная ситуация
Периодически заходим на ftp сайта в папку Temp и удаляем те акки, которые не смогли авторизоваться, вероятней всего там пользователи уже сменили пароль. Акки которые не смогли авторизоваться будут весить 500кб примерно
Сортируем их по колонке с размером и периодически в админке их чистим
В среднем на 2-4к трафика на один сайт вам потребуется 20-30 акков и будет всё стабильно работать
Акки используем только для одного сайта и на одном айпи желательно не больше 2-3 сайтов
У кого остались вопросы пишем в комментариях
Последнее редактирование:
