Автоматизация граббинга кроном

В данной статье речь пойдёт про автоматизацию импорта новостей на *nix-овых платформах, то есть, про запуск кроновских скриптов граббера, с помощью планировщика задач cron В граббере имеется 3 этапа импорта статей:

  1. кроновский скрипт путь_к_грабберу/crontab_feeds.php определяет один из доступных источников получения статей (RSS/Atom/HTML источник) и обновляет его. Если, при этом, имеются новые статьи (уникальность статьи определяется по названию), то статьи будут добавлены в качестве задания для получения По мере запуска данного кроновского скрипта, источники обновляются по кругу Каждому запуску скрипта соответствует одно обновление одного из доступных источников
  2. кроновский скрипт путь_к_грабберу/crontab_articles.php смотрит на задания для получения статей и получает статью. Одному запуску данного скрипта соответствует одно получение статьи
  3. кроновский скрипт путь_к_грабберу/fde_grabber_3/crontab_publicate.php публикует полученные статьи в вашу CMS

Автоматизация граббинга кроном, читать далее...

Разделы сайта

Форум web-разработчиков