- Сообщения
- 867
- Реакции
- 309
Классическим способом наполнения сайтов в CMS MSE-Script является древовидная сеть ссылок, при переходе по которым генерируются новые страницы. Поисковый робот или пользователь переходит на главную страницу сайта, видит ссылки на внутренние страницы, переходит и индексирует их. В момент перехода производится поиск контента и сохранение его на сайт. Такой подход позволяет за короткий срок наполнить сайт актуальным контентом в больших количествах. Однако, имеет ряд недостатков:
1. Невозможность контролировать процесс наполнения - контент создается постоянно. Для остановки процесса потребуется убрать всю перелинковку между страницами.
2. Большой объем БД - При высокой активности пользователей и ботов контент будет генерироваться большими объемами, затрачивая ресурсы сервера. Работа с БД, в которой хранится несколько млн. сохраненных треков будет ощутимо нагружать процессор сервера.
3. Однотипность URL - для корректной работы парсера, URL должны содержать в себе необходимые для парсинга данные, например ID трека на источнике.
Наполнение сайта в полуавтоматическом режиме позволит полностью контролировать процесс наполнения, сохранить ресурсы сервера и создавать URL практически любого формата. Логика такого режима проста - отключить парсинг треков по URL и настроить загрузку новинок с источника.
Как перенастроить сайт в режим полуавтоматического наполнения?
Для начала загрузите модуль в корневую директорию своего сайта и добавьте в CRON задачу:
Следующим этапом потребуется отключить парсинг треков по URL, если трек не был сохранен в БД. Для этого в файле core/track.php найдите:
и замените на:
Теперь скрипт не будет искать трек по ссылке и ответит ошибкой 404.
Заключительным этапом потребуется изменить текущую структуру ссылок, чтобы избежать ошибок 404. Список треков на главной странице можно выводить из последних сохраненных, включив соответствующую опцию в админке (для версии 3.3). Также, потребуется включить “режим поиска по локальной БД”. Если результатов поиска по БД мало, можно удалить все ссылке в шаблонах track-list.tpl, track-ajax.tpl и продолжать парсить источник.
Настройка модуля:
Модуль настраивается в файле
Совместимость:
zv_poster.zip совместим с версиями 3.3 и ниже
zv_poster_2.1 совместим с версиями 3.4 и выше
Обновление 4.05.2020
- Адаптация модуля под версию 3.4
Обновление 11.05.2020
- Добавлена возможность сохранения новых альбомов
- Добавлена возможность сохранения треков с минимально допустимым годом выхода
1. Невозможность контролировать процесс наполнения - контент создается постоянно. Для остановки процесса потребуется убрать всю перелинковку между страницами.
2. Большой объем БД - При высокой активности пользователей и ботов контент будет генерироваться большими объемами, затрачивая ресурсы сервера. Работа с БД, в которой хранится несколько млн. сохраненных треков будет ощутимо нагружать процессор сервера.
3. Однотипность URL - для корректной работы парсера, URL должны содержать в себе необходимые для парсинга данные, например ID трека на источнике.
Наполнение сайта в полуавтоматическом режиме позволит полностью контролировать процесс наполнения, сохранить ресурсы сервера и создавать URL практически любого формата. Логика такого режима проста - отключить парсинг треков по URL и настроить загрузку новинок с источника.
Как перенастроить сайт в режим полуавтоматического наполнения?
Для начала загрузите модуль в корневую директорию своего сайта и добавьте в CRON задачу:
php -f /путь_к_сайту/modules/zv_tracks_parser.php, например, раз в сутки. В указанное время модуль будет подключаться в источнику и проверять, появились ли на нем новые треки. При наличии новых треков, они будут сохранены на сайт. Еще одним достоинством такого способа наполнения, является возможность сохранения треков с разных источников одновременно. Если ваша БД полностью пуста, потребуется добавить хотя бы 1 трек классическим или ручным способом, так как “отсчет” новых треков начинается с последнего сохраненного.Следующим этапом потребуется отключить парсинг треков по URL, если трек не был сохранен в БД. Для этого в файле core/track.php найдите:
PHP:
$this->track = $this->MSE->getTrackData($this->url);
PHP:
$this->createError('no_track');Заключительным этапом потребуется изменить текущую структуру ссылок, чтобы избежать ошибок 404. Список треков на главной странице можно выводить из последних сохраненных, включив соответствующую опцию в админке (для версии 3.3). Также, потребуется включить “режим поиска по локальной БД”. Если результатов поиска по БД мало, можно удалить все ссылке в шаблонах track-list.tpl, track-ajax.tpl и продолжать парсить источник.
Настройка модуля:
Модуль настраивается в файле
modules/zv_tracks_parser.php в массиве $config
PHP:
$config = [
'max_iterations' => 20 // Максимальное кол-во проверяемых треков
];'add_id' => 1, - Добавлять ID ресурса в URL (1 - да, 0 - нет)'save_artist' => 1, - Сохранять новых исполнителей (1 - да, 0 - нет)'save_album' => 1, - Сохранять новые альбомы (1 - да, 0 - нет)'max_iterations' => 20, - Максимальное кол-во новых треков на 1 запуск (целое число)'min_year' => null, - Минимально допустимый год выхода трека (целое число, например 2019)Совместимость:
zv_poster.zip совместим с версиями 3.3 и ниже
zv_poster_2.1 совместим с версиями 3.4 и выше
Обновление 4.05.2020
- Адаптация модуля под версию 3.4
Обновление 11.05.2020
- Добавлена возможность сохранения новых альбомов
- Добавлена возможность сохранения треков с минимально допустимым годом выхода
Последнее редактирование:
