Решено Оптимизация Mail-парсера

[Andrey]

1. В данный момент 17.01 20:00 сайты с Mail парсером (Zvook стоит вторым) не работают, 504 ошибки. Работает только главная.
P.S. Похоже проблемы у самого Mail-a, иногда по 10 сек. нужно дожидаться воспроизведения трека. Но тогда, как я понимаю, должен включаться парсер Zvook, а получаем 504, 502.
2. Сайты с данным парсером грузят весь сервер с сайтами из-за своего долгого ответа.
3. Часто в течении дня наблюдаю, что не работает воспроизведение/скачивание треков, хотя поиск работает.

 

[Mp3style]

1. В данный момент 17.01 20:00 сайты с Mail парсером (Zvook стоит вторым) не работают, 504 ошибки. Работает только главная.
P.S. Похоже проблемы у самого Mail-a, иногда по 10 сек. нужно дожидаться воспроизведения трека. Но тогда, как я понимаю, должен включаться парсер Zvook, а получаем 504, 502.
2. Сайты с данным парсером грузят весь сервер с сайтами из-за своего долгого ответа.
3. Часто в течении дня наблюдаю, что не работает воспроизведение/скачивание треков, хотя поиск работает.

кеширование включено ? майл часто айпи банит на опр время

 

[Andrey]

кеширование включено ? майл часто айпи банит на опр время

Да, включено.

 

[night_music]

2. Сайты с данным парсером грузят весь сервер с сайтами из-за своего долгого ответа.

какие параметры вашего сервера?
сколько трафика на сайте с парсером?

 

[MSE-Script]

1) Проблемы с серверами майла, такое бывает во время проведения технических работ на источнике. Временно можно переключить парсер.
2) Подумаем над решением
3) В процессе реализации

 

[Andrey]

@MSE-Script, А как скоро выйдет фикс?
2-3 день парсер Mail не работает(вообще не работает т.е. 504 ошибки только), включил Zvook временно, но это совсем не помогло: отказы выросли до 60+% и трафик с 5к до 1к упал моментально.

 

[MSE-Script]

@Andrey, Отклонений в парсере Mail не вижу, на тестовых и "боевых" сайтах парсер работает корректно (без учета периодических блокировок IP). Так же, больше никаких жалоб не поступало. Обновленный парсер выйдет в новом релизе 3.1.

отказы выросли до 60+% и трафик с 5к до 1к упал моментально

Слишком большие показатели для подобной ситуации, имеют место быть проблемы с сервером или доступностью сайта.

 

[n0n4m3]

Отказы возможно от того что в базе звука нет много треков те что есть в маиле.

 

[MSE-Script]

@Andrey, ФТП в ЛС, освобожусь посмотрю.

 

[ovozz]

у меня работает нормально, траф идет

 

[Mp3style]

@MSE-Script, А как скоро выйдет фикс?
2-3 день парсер Mail не работает(вообще не работает т.е. 504 ошибки только), включил Zvook временно, но это совсем не помогло: отказы выросли до 60+% и трафик с 5к до 1к упал моментально.
Посмотреть вложение 296

Тоже такая фигня...Прикрутили прокси тогда норм если прокси платные 504 ошибку не получаем результаты есть, но заставить подставлять ретранслятор тот прокси с которого парсился результат и получалась ссылка не вышло.
Убрал нафиг из цепочки майл оставил Звог Вк Ок

 

[Mp3style]

Думаю пора пилить парсер soundcloud.com

 

[night_music]

Вк

Вк разве работает? Парсите мобильную версию?

 

[Andrey]

Тоже такая фигня...Прикрутили прокси тогда норм если прокси платные 504 ошибку не получаем результаты есть, но заставить подставлять ретранслятор тот прокси с которого парсился результат и получалась ссылка не вышло.
Убрал нафиг из цепочки майл оставил Звог Вк Ок

На сервере есть IP, где Mail вообще не использовался. Сейчас поставил Mail и результат тот же - 504. Странно, тоже думал бан Мэйла словил, но не похоже. Тем более IP-адреса проверял из другой сети/подсети.

 

[ovozz]

@Andrey, IP какой страны?

 

[Mp3style]

@Andrey, IP какой страны?

Не принцепиально ) У меня и ру и анг все равно 504 была, убрал его *

 

[ovozz]

@Mp3style, несколько сайтов на майле, локация РФ на айхоре... 504 не встречал..

 

[Andrey]

@ovozz, тоже самое ихор ру

 

[n0n4m3]

Сам по себе маил глючит, долго грузит песни, у них походу что то с серверами слушал только что загрузка песни очень долгая типа отдача хотя инет канал 100мб

 

[Coilfenix]

Какой вообще предпочтительнее юзать парсер?