Отслеживание событий граббера
Для того, чтобы отслеживать что происходит в системе импорта новостей FDE Grabber имеется специальный раздел "Отслеживание" Лог событий В данном разделе вы можете просматривать все события, которые происходят при работе кроновских скриптов граббера Это может быть весьма полезно для отслеживания возникающий ошибок, или, просто для контроля качественной работы граббера. Список статей В данном разделе вы можете контролировать ход получения статей, просматривать что было получено, определять статус статей и т.д. Поиск В данном разделе вы можете осуществить поиск интересующих вас статей, указав наводящие параметры для поиска. Узнать, например, какие статьи только что добавлены, в качестве задания для получения, какие уже опубликованы и т.д. При этом, доступно гибкое указание поисковых параметров
Синонимайзер
В системе импорта новостей FDE Grabber имеется раздел "Синонимайзер". Рассмотрим его. Редактирование синонимов В данном разделе вы можете редактировать синонимы в базе синонимайзера: добавлять/изменять/удалять Редактирование стоп-слов В данном разделе вы можете указывать стоп-слова для синонимайзера, такие как "железная дорога", или, например "белый дом". Для того, чтобы синонимайзер не заменил случайно "железная дорога" на "металлическая дорога" Внимание! Стоп-слов не может быть слишком много. Для функционирования работы стоп-слов, синонимайзер подгружает абсолютно все стоп-слова, содержащиеся в базе Базы синонимайзера В данном разделе вы можете импортировать/экспортировать базы данных для синонимайзера из файла/в файл При этом, файл синонимов должен иметь формат: слово_для_замены|синоним_1,синоним_2,синоним_3... слово_для_замены|синоним_1,синоним_2,синоним_3... слово_для_замены|синоним_1,синоним_2,синоним_3... слово_для_замены|синоним_1,синоним_2,синоним_3... Базовые версии баз данных для синонимайзера можно скачать отсюда: https://fdstar.net/download/synonymizer/english_utf8_syn_base_0.1.zip - база английских синонимов https://fdstar.net/download/synonymizer/russian_utf8_syn_base_0.1.zip - база русских синонимов Для импортирования базы данных синонимайзера, необходимо распаковать архив в директорию на вашем сервере путь_к_грабберу/uploads/synonymizer/import и в разделе импортирования баз для синонимайзера её импортировать. Процесс импортирования - довольно ресурсоёмок, и может занять некоторое время. Рекомендуется его проводить в то время, когда ваш сервер не сильно загружен, например, в ночное время. При импортировании файла базы синонимайзера, необходимо правильно указать кодировку, в которой он записан. Базовые версии файлов баз синонимайзера распространяются в кодировке UTF-8 Тест синонимайзера В данном разделе вы можете протестировать работу синонимайзера. Для работы синонимайзера, необходима база синонимов.
Тест HTML источника
Раздел в грабере "Тест HTML источника" служит для тестирования правильности настройки HTML источнико. Для проведения теста достаточно выбрать из списка интересующий HTML источник. Если для тестируемого источника задействован обход пейджера, то потребуется указать значение переменной {page} на которой будет проводиться тест. Если для тестируемого источника задействован обход по параметру, то потребуется указать значение переменной {param} на которой будет проводиться тест
Пинг RSS/Atom источника
Для того, чтобы проверить что получает граббер от RSS/Atom источников, можно воспользоваться данным разделом. Для этого, достаточно указать адрес источника и его кодировку
RSS vs Atom vs HTML источники
В данном разделе грвббера создаются задания для обновления источников. Источники могут быть трёх типов:
- RSS источники, в данном случае списки статей будут импортироваться из RSS фидов, которые вещает сайт, с которого планируется получать контент
- Atom источники, в данном случае списки статей будут импортироваться из Atom фидов, которые вещает сайт, с которого планируется получать контент
- HTML источники, в данном случае списки статей будут импортироваться из обычных HTML страниц, на которых имеется список новостей
Тест категории
Для того, чтобы протестировать правильность настройки категории: настройки границ получения контента с помощью регулярных выражений и/или правильности указания кодировки, можно воспользоваться разделом "Тест категории". При этом, вам необходимо указать категорию для проведения теста, а также полный адрес статьи, соответствующей настройкам данной категории
Категории источников
В граббере FDE Grabber имеется раздел "Категории источников". Давайте рассмотрим его подробно. В данном разделе создаются категории для ваших источников. Источники могут быть трёх типов:
- RSS источники, в данном случае списки статей будут импортироваться из RSS фидов, которые вещает сайт, с которого планируется получать контент
- Atom источники, в данном случае списки статей будут импортироваться из Atom фидов, которые вещает сайт, с которого планируется получать контент
- HTML источники, в данном случае списки статей будут импортироваться из обычных HTML страниц, на которых имеется список новостей
- https://www.some-site.ru/index.php - адрес страницы, на которой будет производиться логин на сайт
- username=ineedwarez&password=ineedwarez - непосредственно POST параметры