DMCA от конторы BPI
- Автор темы OuT
- Дата начала
- Сообщения
- 339
- Реакции
- 85
Я уже выяснил этот момент. Сейчас проверяю теорию
С помощью
<meta name="robots" content="noarchive"> можно запретить поисковикам хранить кэш страниц и у многих сайтов из выдачи это сделано, но это не мешает им ловить абузы от BPI.
Последнее редактирование:
Мне BPI завалил два крупных сайтах, в итоге сейчас трафа 2-3к, переклейки не спасли, ограничивал доступ ко всему сайту всей европе, сша, и многим другим странам, результаты нулевые. BPI сканирует гугл без посещения сайта, и им вообще плевать что на сайте находится, даже если будет пустая страница. Как с ними бороться не знаю... пытаться вовремя переклеить, но не всегда можно успеть, или же при переклейке потерять не малую часть трафа.
- Сообщения
- 339
- Реакции
- 85
Это не подтвержденная гипотеза
Да не смотрят они кэш, если сайт попал в их базу, они будут мониторить индексацию гугла, и слать абузы в гугл. Они не посещают страницы, они не смотрят нарушает ли он права, достаточно чтобы сайт попал в их базу и дальше письма будут прилетать стабильно. Я получил от них более 100 000 жалоб на ссылки, решения как такового не нашел.
BPI шлёт dmca-абузы в гугл сайтам с noarchive. Более года назад применил эту штуку на куче сайтов и абузы продолжают идти.
Мне кажется, как минимум один раз они таки посещают сайт руками (через прокси, VPN, opera turbo, etc), чтобы убедиться, что сайт пиратский, а потом бот уже шлёт абузы в гугл по всем собранным урлам.
Никто не пробовал ограничить доступ к сайту для всех кроме ASN (Google|Yandex) + СНГ?
- Сообщения
- 339
- Реакции
- 85
@petroff, @alex1987, А я говорю гугл не при чем. (эту теория я сейчас проверяю на парктике)
На то, чтобы вашу страницу удалили из выдачи, нужно
1. Подать на нее жалобу в гугл
2. Гугл должен ее рассмотреть (примерно до 1 недели)
3. Далее удаляют.
Если Через месяц Ваш сайт уже в выдаче, и проиндексирован на 70%, почему абузы начинают приходить через 5-6 месяцев, а то и больше?
Когда приходят уведомление от гугла, о удалении, заходим в выдачу и видим как наши друзья стоят на первых страницах и собирают траф. По тем же трекам, за которые вы лишились этого трафа.
Так же при переклейке сайта, жалобы на новый домен не приходят какое-то время, может быть опять 5-7 месяцев
На то, чтобы вашу страницу удалили из выдачи, нужно
1. Подать на нее жалобу в гугл
2. Гугл должен ее рассмотреть (примерно до 1 недели)
3. Далее удаляют.
Если Через месяц Ваш сайт уже в выдаче, и проиндексирован на 70%, почему абузы начинают приходить через 5-6 месяцев, а то и больше?
Когда приходят уведомление от гугла, о удалении, заходим в выдачу и видим как наши друзья стоят на первых страницах и собирают траф. По тем же трекам, за которые вы лишились этого трафа.
Так же при переклейке сайта, жалобы на новый домен не приходят какое-то время, может быть опять 5-7 месяцев
Предположим, это работает так:
1. бот BPI в цикле парсит выдачу гугла по какому-то своему списку запросов (песен) и собирает все урлы из выдачи в свою базу (абузы в гугл при этом не отправляются);
2. когда набирается какое-то заметное количество урлов по домену, алгоритм отправляет сайт на ручную проверку, где какой-то индус (или несколько) выносит решение о признании сайта пиратским или белым;
3. если сайт таки признан пиратским, идёт отправка в гугл dmca-абуз со всеми ранее собранными из выдачи урлами, чтобы сайт получил фильтр и потерял трафик;
Если всё устроено именно так, это может объяснять:
• отсутствие сторонних запросов к страницами с абузами (кроме гуглобота);
• получение сразу большой пачки абуз вместо плавного роста количества абуз соотносящегося с индексацией сайта гуглоботом;
Это намёк на то, что конкуренты могут как-то мотивировать BPI слать абузы? Известен механизм, как можно это реализовать (хочет Вася Пупкин кикнуть сайт конкурента из выдачи: как ему это сделать?)?
Сайты конкурентов при этом живут годами в выдаче и не получают абуз от BPI/AudioLock?
- Сообщения
- 339
- Реакции
- 85
Промежуточный результат тестов.
с 8 марта я не получил ни одной жалобы на сайт. Трафик продолжает расти.
Наблюдаю дальше.
Из того, что сделал, забанил не только ботов. Есть еще свои приколы.
Если еще за неделю не придет ни одной жалобы, считаю что я нашел как избавится от DMCA
с 8 марта я не получил ни одной жалобы на сайт. Трафик продолжает расти.
Наблюдаю дальше.
Из того, что сделал, забанил не только ботов. Есть еще свои приколы.
Если еще за неделю не придет ни одной жалобы, считаю что я нашел как избавится от DMCA
Я не понимаю как можно забанить ботов? Сайт же не будет индексироваться, и бот гугла посчитает что сайт не доступен и просто выплюнет страницы с индекса. Или я что то не так понимаю?
- Сообщения
- 339
- Реакции
- 85
я не банил гугл бота
- Сообщения
- 339
- Реакции
- 85
По разному и по юзер агенту тоже.
Смотрю у многих муз сайтов стоит /firebase_https.js длля каких целей ?
- Сообщения
- 104
- Реакции
- 68
https://ru.wikipedia.org/wiki/Firebase
Мое предположение после гугла, что это скрипт для CDN-раздачи файлов.
Мое предположение после гугла, что это скрипт для CDN-раздачи файлов.
- Сообщения
- 339
- Реакции
- 85
После того как я написал здесь, жалобы поступали 11 и 13,14,15 и 18 марта. По 3-7 уведомлений в каждом по 1 ссылке.
Интенсивность стала явно меньше чем была раньше. Полностью пока не победил. Есть еще один способ, начну тест в конце этой недели.
быстрее всего совпадение, до блокировки сколько писем приходило в сутки? Подскажите есть у кого опыт выхода из под фильтра гугл пират? Не успел переклеить домен как словил фильтр, сейчас настроил 301 на новый домен, в гугл вебмастер сам домен не добавлял, но по опыту (ранее был такой же случай) траф назад не вернулся.
- Сообщения
- 339
- Реакции
- 85
может быть, поэтому все результаты промежуточные. Ранее сыпались по 20 писем в среднем с вложением ссылок по 30-40 штук. Т.е. выпиливалось за раз +-600 ссылок.
Домен под фильтром гугл пирата, был переклеен и я начал проводить на нем тесты как только посыпались письма.
