FDE Grabber

Бывает, что нам необходимо поставить парсер контента на сервер, отличный от того, на котором находится сайт, куда требуется публиковать получаемые парсером статьи. Причины тому могут быть разные — желание централизовать управление наполнением сайтов, разгрузка серверных ресурсов (на сервере, на котором находится сайт) и т.д.

В парсере сайтов FDE Grabber публикацию полученных статей можно осуществлять как локальную так и удалённую.

Локальная публикация — это такой режим работы парсера, когда он установлен на том же сервере, что и сайт, в который требуется публиковать полученные статьи.

Удалённая публикация — это такой режим работы парсера, когда он установлен на другом сервере, отличном от того, на котором работает сайт, в который требуется публиковать полученные статьи.

Если в случае локальной публикации всё понятно — ставится граббер рядом с сайтом, который требуется наполнять и поехали, то в случае удалённой публикации могут возникнуть некоторые вопросы.

Для осуществления удалённой публикации нам потребуется при настройке сайта (в разделе граббера «сайты») отметить опцию «Удалённая публикация» (поставить галочку) и заполнить поле «URL транзитного файла».

URL транзитного файла — это адрес транзитного файла копии граббера, которую потребуется установить на тот же сервер, где находится ваш сайт.

Пусть ваш сайт находится по адресу http://test.com/ и вы установили транзитную копию граббера в директорию fde, таким образом, что URL граббера получился http://test.com/fde/. Тогда URL транзитного файла будет выглядеть так: http://test.com/fde/transit_publication.php

Транзитную копию граббера не обязательно устанавливать полностью, запуская инсталлятор install.php. Если копия граббера будет использоваться исключительно в транзитных целях, то достаточно отредактировать его конфигурационный файл /путь_к_корню_папки_системы_импорта_новостей_на_сервере/config/dynamic.php следующим образом:

‘FILES_DIR’ => ‘/путь_к_грабберу_на_сервере/uploads/files/’,
‘TMP_DIR’ => ‘/путь_к_грабберу_на_сервере/uploads/tmp/’,

указав реальные пути и проставив на соответствующие папки права на запись.

Больше ничем удалённая публикация не отличается от локальной — все остальные параметры сайта указываются так, как если бы граббер осуществлял локальную публикацию.

Возможен ли запуск системы импорта новостей FDE Grabber на сервере с динамическим IP?

- ответ да.

В рамках одной лицензии вы вправе запускать FDE Grabber с 10 различных IPv4 адресов, а также с основного домена. Это означает, что если вы привязали к своему серверу с динамическим IP какой-либо домен, то можно указать этот домен, как основной в свойствах лицензии на систему импорта новостей, чтобы иметь возможность осуществлять запуск FDE Grabber на подобном сервере:

Как и список IP адресов — основной домен вы можете отредактировать в любой момент в свойствах лицензии по своему усмотрению.

Дорогие друзья, сообщаем вам о том, что вышла новая версия граббера статей FDE Grabber 4.7

Какие изменения вошли в новую версию:

• Добавлен новый модуль для редактирования языковых файлов системы импорта новостей (как им пользоваться и зачем он нужен читайте ниже)
• Добавлен новый хак (микропрограмма для обработки контента) для обхода редиректов (перенаправлений) в ссылках. Так, если в контенте существует ссылка, вида http://site.ru/?id=23123217, при переходе по которой вы перенаправляетесь на страницу http://fdstar.net/,  то при активации данного хака система перейдёт по ссылке и заменит адрес на конечный результат: http://fdstar.net/ вместо того, который был вначале (http://site.ru/?id=23123217). Хак работает только (!) с редиректами, отправляемыми через HTTP заголовки — если сайт использует другой тип перенаправления, например через метатег или с помощью языка javascript, то использование данного хака не поможет.
• Теперь при работе удалённой публикации файлы во временной папке на удалённом сервере не накапливаются, а сразу удаляются.
• Добавлена поддержка нового типа движка DataLife Engine 9.6 (который вышел 1 мая).

Что такое модуль для редактирования языковых файлов граббера

Модуль для редактирования и переводов языковых файлов системы импорта новостей нужен для коррекции возможных ошибок и недочётов в подписях и текстах FDE Grabber, а также как средство удобного перевода системы на другие языки.

Если вы хотите помочь развитию системы, перевёв её на новый язык, то данный модуль поможет это сделать.

Языковые файлы граббера находятся в папке languages. Под каждый поддерживаемый язык выделяется отдельная подпапка, так например для русского языка выделена директория languages/russian, а для английского  языка languages/english.

При работе с модулем для редактирования языковых файлов требуется проставить права на запись (например 0777) как на сами языковые папки, так и на их содержимое — языковые файлы.

При добавлении нового языка требуется создать внутри папки languages новую директорию, в которой и будут храниться языковые файлы нового языка. Например для украинского языка мы можем создать пустую папку languages/ukranian и выставить на неё права на запись, после чего воспользоваться модулем для редактирования и переводов.

Как пользоваться модулем редактирования и переводов языковых файлов системы импорта новостей FDE Grabber

Для того, чтобы отредактировать какой либо язык или языки требуется зайти на главную страницу модуля, выбрать требуемый язык, при необходимости добавить для редактирования дополнительный язык, воспользовавшись кнопками «+» и «-».

После чего нажать на кнопку «применить«.

Для редактирования какого либо файла требуется перейти, кликнув по соответствующей ссылке:

После проведения перевода или редактирования сохранить результат, нажав на кнопку «изменить«:

Для того, чтобы увидеть свой перевод среди списка возможных для выбора языков:

Потребуется очистить папку граббера «cache«, сделав это или напрямую через файловую систему или с помощью функции «очистки кеша» в разделе «утилиты» граббера. Перед тем как это сделать убедитесь в том, что переведены все языковые файлы граббера иначе вы можете увидеть сообщения об ошибках.

Доступна для скачивания и покупки новая версия парсера контента FDE Grabber 4.6

Изменения, вошедшие в новую версию:

• Добавлена возможность использования замен регулярными выражениями, использования замен текста, использования DOM замен, использования хаков (микропрограмм для обработки, постобработки контента, корректировки верстки и т.д.) до получения контента (перед парсингом). Данная возможность обеспечивает ещё более гибкую настройку парсера контента FDE Grabber:

• В настройках категории источников, при выводе списка хаков,  теперь происходит их группировка в обобщённые блоки:
• При использовании ручного крона во время его работы теперь учитывается таймаут, по истечению которого, в случае неответа сервера происходит перезапуск ручного крона. Это обеспечивает более стабильную работу ручного крона, без остановок, например тогда, когда ваш сервер работает через кэширующий прокси-сервер nginx и nginx, не дожидаясь ответа от кроновского скрипта граббера, по таймауту выводит ошибку «504 Gateway Time-out».
• При просмотре лога событий добавлен фильтр по дате, с возможностью указывать: вывод всех записей, независимо от даты / вывод записей за текущий день / вывод записей за текущий месяц / а также вывод записей за указанный период:
• При просмотре информации о статье добавлен вывод дополнительной информации о категории источников, источнике и адресе источника:

Для того, чтобы обновить парсер контента FDE Grabber требуется зайти на сайт fde-cms.ru или fde-cms.com в раздел лицензий, скачать новую версию и следовать инструкции по обновлению в корне дистрибутива.

Для того, чтобы приобрести систему импорта новостей FDE Grabber требуется перейти на страницу http://fde-cms.ru/buy_grabber.html и следовать приведённым там инструкциям.

Дорогие друзья!

С радостью сообщаем о том, что выпущена новая версия парсера статей FDE Grabber 4.5

О том, какие изменения были сделаны в новой версии читайте ниже:

• добавлена возможность массового изменения настроек категорий источников парсера новостей
• добавлена возможность массового изменения настроек источников парсера новостей
• для статей добавлен новый статус “в архиве”
• добавлена возможность перемещать статьи сразу же после публикации в архив, а также перемещать их вручную через раздел “статьи”
• добавлена возможность получения сжатых страниц на стороне сервера (gzip, deflate  и т.д.)
• улучшена система обхода защит от ботов на некоторых сайтах – теперь граббер в своём поведении ещё более похож на обычный браузер клиента и практически полностью имитирует его работу
• исправлены мелкие недочёты

Рассмотрим более подробно новые возможности, которые появились в новой версии

(читать далее…)

Дорогие друзья!

Сообщаем о том, что вышла новая версия системы импорта новостей FDE Grabber 4.4

Нужно сказать, что с этой версии в граббере начинается новая веха в истории FDE Grabber. Было сделано немало изменений в плане улучшения производительности, но и реализовано множество новых идей…

Обо всём по порядку, начнём с мелочей:

• В настройках категории добавлена возможность указания минимального необходимого количества в статье картинок. Если количество картинок в статье  меньше указанной величины, то статья будет удалена и не будет импортирована
• Добавлена возможность бесшаблонного парсинга новостей (статей). Это означает, что теперь в большинстве случаев можно получать полезный контент полного содержимого статьи вообще не составляя никакого шаблона
• Добавлена возможность DOM парсинга как содержимого статей так и источников.
• Добавлена возможность DOM замен, наряду с обычными заменами и заменами, с помощью регулярных выражений

А теперь непосредственно о самом главном, о DOM парсинге и о преимуществах, которые мы получаем, используя DOM шаблоны

DOM – это аббревиатура от английского “Document Object Model”, что переводится на русский, как “Объектная Модель Документа”. Любой документ известной структуры с помощью DOM может быть представлен в виде дерева узлов, каждый узел которого представляет собой элемент, атрибут, текстовый, графический или любой другой объект. Узлы связаны между собой отношениями “родительский-дочерний”. Иными словами, система импорта новостей FDE Grabber теперь умеет построить из HTML кода документа иерархическое DOM дерево, состоящее из узлов, связанных между собой отношениями родитель-дочерний элемент. При этом технология DOM парсинга разработана нами самостоятельно, в стенах компании FDSTAR и не основывается ни на каких-либо чужих разработках.

Как работает DOM парсинг на примере разбора содержимого статьи:

• указывается DOM шаблон
• FDE Grabber преобразует документ в иерархическое  DOM дерево
• начинается поиск по указанному DOM шаблону необходимого нам элемента  и в случае его нахождения мы получим полезный контент

Как выглядит DOM шаблон

В DOM шаблоне указываются DOM элементы (узлы)  в виде иерархической последовательности (как и в CSS стилях или, например jquery).

Рассмотрим пример. Пусть, полезный контент содержится в документе, который выглядит следующим образом:

<body>
	<div>
		<table>
			<tr>
				<td>
					<div class="content">
полезное содержимое,
которое мы должны получить
					</div>
				</td>
			</tr>
		</table>
	</div>
</body>

Тогда мы можем выстроить некоторый шаблон, который будет выглядеть, например так: body div table div.content

Последовательность body div table div.content означает, что мы ищем элемент div со стилевым классом “content“, который является дочерним по отношению к table, а table в свою очередь дочерним, по отношению к div, а div к body.
Допускается указание идентификаторов, в виде div#id, где div - это элемент с идентификатором “id“.
Кроме того, допускается указание любой общности элементов в виде “*”. Конструкция вида *.content означает любой элемент со стилевым классом “content”

Ну хорошо, скажете вы, но это не позволяет распознать контент в большинстве сайтов, работающих на популярном движке DLE. Контент там находится, обычно в блочных элементах с уникальным идентификатором, вида news-id-555555

ДА! Именно поэтому мы сделали возможность указания дополнительного сопоставления атрибутов

Например, id {preg} #content_\d+#i – это сопоставление значения атрибута id с указанным регулярным выражением #content_\d+#i.
width {like} 100 – это сопоставление значения атрибута width со строковым значением “100” (не регулярное выражениие).

Как несложно догадаться, для всех сайтов, работающих на DLE унас будет всего один универсальный шаблон:

id {preg} #news\-id\-\d+#is

Кроме поиска, по такой же схеме мы сделали возможность указания DOM замен. При этом можно заменить любой DOM элемент на указанную замену. Парсить с помощью DOM шаблонов в FDE Grabber можно не только полное содержимое статей, но и источники.

Итоги

Как мы видим, теперь имеется возможность ещё более удобного указания шаблонов для парсинга и время на реализацию новых идей!

Дорогие друзья, с радостью вам сообщаем о том, что доступна новая версия системы импорта новостей: FDE Grabber 4.2

Изменения, сделанные в новой версии, а также что появилось нового:

• добавлена возможность указания публикации на один из выбранных сайтов при настройке источника в граббере случайно. То есть, теперь вы сможете публиковать получаемые новости с определённого источника или на все указанные сайты или случайно на один из указанных
• при настройке категории, в заменах регулярными выражениями вы сможете делать замены в HTML списках новостей (в HTML коде) до получения краткой новости (только для html источников). Это даёт возможность более гибкой настройки и парсинга html источников

Как обновиться на новую версию?

– зайти в персональный кабинет на сайте http://fde-cms.com/ или http://fde-cms.ru/
- скачать дистрибутив версии 4.2
- следовать инструкции по обновлению, которая находится в корне дистрибутива (файл называется “how_to_update_from_4.1_to_4.2.txt”)