Автоматизация граббинга кроном

В данной статье речь пойдёт про автоматизацию импорта новостей на *nix-овых платформах, то есть, про запуск кроновских скриптов граббера, с помощью планировщика задач cron В граббере имеется 3 этапа импорта статей:

  1. кроновский скрипт путь_к_грабберу/crontab_feeds.php определяет один из доступных источников получения статей (RSS/Atom/HTML источник) и обновляет его. Если, при этом, имеются новые статьи (уникальность статьи определяется по названию), то статьи будут добавлены в качестве задания для получения По мере запуска данного кроновского скрипта, источники обновляются по кругу Каждому запуску скрипта соответствует одно обновление одного из доступных источников
  2. кроновский скрипт путь_к_грабберу/crontab_articles.php смотрит на задания для получения статей и получает статью. Одному запуску данного скрипта соответствует одно получение статьи
  3. кроновский скрипт путь_к_грабберу/fde_grabber_3/crontab_publicate.php публикует полученные статьи в вашу CMS

Мы советуем обновлять кроновские скрипты граббера с интервалами: crontab_feeds.php - каждые 5 минут crontab_articles.php - каждые 2 минуты crontab_publicate.php - каждые 4 минуты Предположим, что мы выяснили путь к PHP интерпретатору на сервере, и он выглядит так: /usr/bin/php Тогда, задания для запуска скриптов будут выглядеть так: */5 * * * * /usr/bin/php путь_к_грабберу/crontab_feeds.php > /dev/null 2>&1 */2  * * * * /usr/bin/php путь_к_грабберу/crontab_articles.php > /dev/null 2>&1 */4 * * * * /usr/bin/php путь_к_грабберу/crontab_publicate.php > /dev/null 2>&1 Узнать путь к интепретатору PHP можно несколькими способами:

  1. посмотреть расположение файлов на диске
  2. спросить у хостера или администратора сервера
  3. если имеется доступ через SSH - выполнить в командной строке: whereis php
  4. выполнить один из следующих скриптов:

<?php echo `whereis php`; ?>

<?php echo exec('whereis php'); ?>

<?php echo system('whereis php'); ?>

    Разделы сайта

    Форум web-разработчиков