Граббер новостей с сайтов FDE Grabber 5.1

Дорогие друзья, извещаем вас о том. что доступна для скачивания и приобретения новая версия системы граббинга новостей FDE Grabber 5.1

Новые возможности и изменения:

  • Новейший механизм работы с динамическими списками
Полностью переработана и улучшена система для работы с динамическими списками. Теперь каждый элемент списка выделяется чередующимся цветом (зебра). При любом изменении порядка, добавлении, удалении нового элемента зебра автоматически перерисуется. Добавлены кнопки для удаления элементов списка: Введены области захвата элементов списка для последующего перетаскивания мышью на новое место, с целью изменения их сортировки:
  • Добавлена поддержка импорта и сохранения изображений, внедрённых непосредственно в тело HTML документа
Если в статье, которую необходимо импортировать находится картинка, встроенная в тело HTML документа, с помощью метода Base64, то система импорта новостей FDE Grabber автоматически распознает картинку и сохранит. Пример картинки, внедрённой в тело документа:
<img
src="data:image/gif;base64,R0lGODdhMAAwAPAAAAAAAP///ywAAAAAMAAw
AAAC8IyPqcvt3wCcDkiLc7C0qwyGHhSWpjQu5yqmCYsapyuvUUlvONmOZtfzgFz
ByTB10QgxOR0TqBQejhRNzOfkVJ+5YiUqrXF5Y5lKh/DeuNcP5yLWGsEbtLiOSp
a/TPg7JpJHxyendzWTBfX0cxOnKPjgBzi4diinWGdkF8kjdfnycQZXZeYGejmJl
ZeGl9i2icVqaNVailT6F5iJ90m6mvuTS4OK05M0vDk0Q4XUtwvKOzrcd3iq9uis
F81M1OIcR7lEewwcLp7tuNNkM3uNna3F2JQFo97Vriy/Xl4/f1cf5VWzXyym7PH
hhx4dbgYKAAA7"
alt="Good girl" />
  • Добавлена поддержка импорта контента с сайтов, находящихся в доменах, содержащих символы национальных алфавитов
Теперь FDE Grabber может полноценно получать контент с сайтов, находящихся в доменах вида россия.рф, москва.ru  и т.д.
  • Адреса, которые начинаются с // теперь автоматически воспринимаются как начинающиеся с https://

Граббер новостей с сайтов FDE Grabber 5.1, читать далее...

Парсер контента FDE Grabber 5.0

Доступна для скачивания  и покупки очередная версия системы парсинга новостей FDE Grabber 5.0 Изменения и новые возможности:

  • появилась система умного выравнивания картинок (в настройках категории источников)
  • в настройках источников новостей добавлена опция, в зависимости от настроек которой краткую новость можно получить как из источника, так и из полной новости, путём обрезки по заданному количеству абзацев/символов/предложений
  • в настройках категории источников добавлена опция указания вставки в атрибуты alt и title тегов изображений содержимого заголовка статьи (для лучшей SEO оптимизации)
  • в настройках категории добавлена возможность для картинок указать отступы от текста по вертикали и горизонтали
  • система подсказок для удобного и правильного указания кодировок сайтов
  • система проверки настроек сайтов, в которые планируется публиковать полученные статьи
  • система ограничения доступа по IP/подсетям
  • система транзитных ключей, позволяющая повысить безопасность при удалённой публикации
Теперь обо всём более подробно…  

Система умного выравнивания картинок

Система позволяет в зависимости от заданного опорного размера указывать разное выравнивание для кратких и полных новостей. Например: опорный размер указан как 300X300 (ширина 300 пикселей, высота 300 пикселей). При размере изображения меньше указанного размера мы можем указать выравнивание по левому краю, а при превышении заданного размера выравнивание  поставить по центру. Таким образом получаемые новости будут смотреться гораздо лучше.  

Возможность получать краткую новость как из источника так и путём обработки полной новости

При настройке источника можно выбрать то, как вы желаете получать краткую новость. По умолчанию она будет получаться из источника, но можно и переключить логику так, чтобы система импорта новостей получала её из полной новости. Кроме того, можно указать обрезку краткой новости по заданному количеству символов/параграфов/предложений. При любом типе обрезки система автоматически закрывает открытые HTML теги.    

Система подсказок при настройке сайта

При указании кодировки сайта система сама предложит варианты правильных кодировок, что позволит избежать досадных ошибок при настройке сайта. При выборе кодировки,  подсказанной системой все остальные поля кодировок заполнятся автоматически (если они были пустыми).  

Возможность проверки настроек сайта до использования

Возможности ограничения доступа к системе по заданным IP адресам/подсетям

Значения указываются через пробел. Если необходимо указать подсеть, то используется звёздочка, например: 46.8.2.*   В случае попытки доступа к системе с IP, не входящего в список доступ будет запрещён.

Возможность повысить безопасность, используя транзитные ключи

При транзитной публикации теперь можно указать секретный ключ при настройке сайта: И транзитный ключ при настройке самого граббера: В конфиге граббера config/dynamic.php параметр, отвечающий за транзитный ключ называется TRANSIT_KEY В случае, если ключи, указанные в настройках сайта и в настройках транзитной системы граббера не совпадут, то доступ к публикации будет заблокирован.
При использовании граббера теперь необходимо обязательно сменить дефолтный пароль, иначе система откажется работать.

Парсер контента FDE Grabber 5.0, читать далее...

FDE Grabber 4.9 выпущен на волю!

Ящик Пандоры уже открыт, FDE Grabber 4.9 выпущен на волю, и его уже не остановить :-) Изменения и дополнения, которые вошли в новую версию:

  • появилась возможность экспорта настроек категорий источников и источников в специальный датафайл (о новом функционале читайте ниже)
  • появилась возможность импорта настроек категорий источников и источников из датафайла (о новом функционале читайте ниже)
  • исправлены мелкие недочёты и недоработки прошлых версий
Экспорт настроек категорий источников и источников в датафайл В списке записей выбираем нужную и нажимаем на кнопку «экспорт» В открывшемся диалоговом окне выбираем «сохранить файл»: И сохраняем настройки в файл Импорт настроек категорий источников и источников из датафайла В списке записей нажимаем на кнопку «импорт из файла» Выбираем файл и нажимаем на кнопку «импортировать«: ЗАЧЕМ рязанскому крестьянину этот странный замечательный функционал?
  • функционал позволяет вести заработок на настройке категорий и источников, принимая заказы у своих знакомых
  • обмениваться настройками граббера со своими друзьями и знакомыми
  • позволяет организовать «быстрый старт» новичкам. С нашего демо сайта без проблем можно экспортировать нужную настройку и импортировать себе в граббер
FDE Grabber 5 не за горами — ждите сюрпризов ;-)  

FDE Grabber 4.9 выпущен на волю!, читать далее...

Парсер сайтов FDE Grabber 4.8

Доступна для скачивания и тестирования новая версия системы импорта новостей, парсера контента, граббера сайтов FDE Grabber 4.8 Новые возможности, вошедшие в версию:
  • Была сделана и добавлена полноценная система перелинковки (как она работает - читайте далее)
  • В DOM шаблоны для получения полезного контента при настройке категории источников граббера добавлена возможность указания номеров не уникальных элементов, но подходящих под указанный DOM шаблон, из которых будет получаться полезный контент. Например, если указан DOM шаблон в виде BODY TABLE DIV, а на странице элементов, подходящих под этот шаблон больше одного, то теперь есть возможность указать порядковые номера этих элементов (через запятую или пробел) - из них FDE Grabber будет получать контент. Если соответствующее поле не заполнять, то FDE Grabber будет получать контент сразу из всех элементов, подходящих под указанный шаблон.
  • исправлены небольшие недочёты прошлых версий граббера

Система перелинковки (добавления ссылок)

Если для вашего сайта активирована система перелинковки (в гразделе "Сайты"): То при публикации на него полученных статей граббер будет её использовать. Система перелинковки работает следующим образом:
  • Указывается адрес ссылки и подписи к ней (через запятую). Также, указывается сайт (добавленный  в граббер через раздел «сайты»), для которого будут ставиться ссылки.
  • В момент публикации, в случае нахождения в тексте статьи указанных текстовых подписей - они будут замены на соответствующие ссылки.
При добавлении ссылки можно указать применение стеммера (Стеммер Портера) — таким образом отпадёт необходимость склонять по падежам указанные подписи. Кто-то предпочтёт потратить лишние 2-3 минуты и просклоняет подписи к ссылкам, а кто-то может включить использование стеммера.

Парсер сайтов FDE Grabber 4.8, читать далее...

Новая версия системы импорта новостей FDE Grabber 4.7

Дорогие друзья, сообщаем вам о том, что вышла новая версия граббера статей FDE Grabber 4.7 Какие изменения вошли в новую версию:
  • Добавлен новый модуль для редактирования языковых файлов системы импорта новостей (как им пользоваться и зачем он нужен читайте ниже)
  • Добавлен новый хак (микропрограмма для обработки контента) для обхода редиректов (перенаправлений) в ссылках. Так, если в контенте существует ссылка, вида https://site.ru/?id=23123217, при переходе по которой вы перенаправляетесь на страницу https://fdstar.net/,  то при активации данного хака система перейдёт по ссылке и заменит адрес на конечный результат: https://fdstar.net/ вместо того, который был вначале (https://site.ru/?id=23123217). Хак работает только (!) с редиректами, отправляемыми через HTTP заголовки — если сайт использует другой тип перенаправления, например через метатег или с помощью языка javascript, то использование данного хака не поможет.
  • Теперь при работе удалённой публикации файлы во временной папке на удалённом сервере не накапливаются, а сразу удаляются.
  • Добавлена поддержка нового типа движка DataLife Engine 9.6 (который вышел 1 мая).
Что такое модуль для редактирования языковых файлов граббера Модуль для редактирования и переводов языковых файлов системы импорта новостей нужен для коррекции возможных ошибок и недочётов в подписях и текстах FDE Grabber, а также как средство удобного перевода системы на другие языки. Если вы хотите помочь развитию системы, перевёв её на новый язык, то данный модуль поможет это сделать. Языковые файлы граббера находятся в папке languages. Под каждый поддерживаемый язык выделяется отдельная подпапка, так например для русского языка выделена директория languages/russian, а для английского  языка languages/english. При работе с модулем для редактирования языковых файлов требуется проставить права на запись (например 0777) как на сами языковые папки, так и на их содержимое — языковые файлы. При добавлении нового языка требуется создать внутри папки languages новую директорию, в которой и будут храниться языковые файлы нового языка. Например для украинского языка мы можем создать пустую папку languages/ukranian и выставить на неё права на запись, после чего воспользоваться модулем для редактирования и переводов. Как пользоваться модулем редактирования и переводов языковых файлов системы импорта новостей FDE Grabber Для того, чтобы отредактировать какой либо язык или языки требуется зайти на главную страницу модуля, выбрать требуемый язык, при необходимости добавить для редактирования дополнительный язык, воспользовавшись кнопками «+» и «-». После чего нажать на кнопку «применить«. Для редактирования какого либо файла требуется перейти, кликнув по соответствующей ссылке: После проведения перевода или редактирования сохранить результат, нажав на кнопку «изменить«: Для того, чтобы увидеть свой перевод среди списка возможных для выбора языков: Потребуется очистить папку граббера «cache«, сделав это или напрямую через файловую систему или с помощью функции «очистки кеша» в разделе «утилиты» граббера. Перед тем как это сделать убедитесь в том, что переведены все языковые файлы граббера иначе вы можете увидеть сообщения об ошибках.  

Новая версия системы импорта новостей FDE Grabber 4.7, читать далее...

Новая версия парсера контента FDE Grabber 4.6

Доступна для скачивания и покупки новая версия парсера контента FDE Grabber 4.6 Изменения, вошедшие в новую версию:
  • Добавлена возможность использования замен регулярными выражениями, использования замен текста, использования DOM замен, использования хаков (микропрограмм для обработки, постобработки контента, корректировки верстки и т.д.) до получения контента (перед парсингом). Данная возможность обеспечивает ещё более гибкую настройку парсера контента FDE Grabber:
  • В настройках категории источников, при выводе списка хаков,  теперь происходит их группировка в обобщённые блоки:
  • При использовании ручного крона во время его работы теперь учитывается таймаут, по истечению которого, в случае неответа сервера происходит перезапуск ручного крона. Это обеспечивает более стабильную работу ручного крона, без остановок, например тогда, когда ваш сервер работает через кэширующий прокси-сервер nginx и nginx, не дожидаясь ответа от кроновского скрипта граббера, по таймауту выводит ошибку «504 Gateway Time-out».
  • При просмотре лога событий добавлен фильтр по дате, с возможностью указывать: вывод всех записей, независимо от даты / вывод записей за текущий день / вывод записей за текущий месяц / а также вывод записей за указанный период:
  • При просмотре информации о статье добавлен вывод дополнительной информации о категории источников, источнике и адресе источника:
Для того, чтобы обновить парсер контента FDE Grabber требуется зайти на сайт fde-cms.ru или fde-cms.com в раздел лицензий, скачать новую версию и следовать инструкции по обновлению в корне дистрибутива. Для того, чтобы приобрести систему импорта новостей FDE Grabber требуется перейти на страницу https://fde-cms.ru/buy_grabber.html и следовать приведённым там инструкциям.

Новая версия парсера контента FDE Grabber 4.6, читать далее...

Новая версия FDE Grabber 4.5

Дорогие друзья! С радостью сообщаем о том, что выпущена новая версия парсера статей FDE Grabber 4.5 О том, какие изменения были сделаны в новой версии читайте ниже:
  • добавлена возможность массового изменения настроек категорий источников парсера новостей
  • добавлена возможность массового изменения настроек источников парсера новостей
  • для статей добавлен новый статус “в архиве”
  • добавлена возможность перемещать статьи сразу же после публикации в архив, а также перемещать их вручную через раздел “статьи”
  • добавлена возможность получения сжатых страниц на стороне сервера (gzip, deflate  и т.д.)
  • улучшена система обхода защит от ботов на некоторых сайтах – теперь граббер в своём поведении ещё более похож на обычный браузер клиента и практически полностью имитирует его работу
  • исправлены мелкие недочёты
Рассмотрим более подробно новые возможности, которые появились в новой версии

Новая версия FDE Grabber 4.5, читать далее...

FDE Grabber 4.4 уже доступен

Дорогие друзья! Сообщаем о том, что вышла новая версия системы импорта новостей FDE Grabber 4.4 Нужно сказать, что с этой версии в граббере начинается новая веха в истории FDE Grabber. Было сделано немало изменений в плане улучшения производительности, но и реализовано множество новых идей… Обо всём по порядку, начнём с мелочей:
  • В настройках категории добавлена возможность указания минимального необходимого количества в статье картинок. Если количество картинок в статье  меньше указанной величины, то статья будет удалена и не будет импортирована
  • Добавлена возможность бесшаблонного парсинга новостей (статей). Это означает, что теперь в большинстве случаев можно получать полезный контент полного содержимого статьи вообще не составляя никакого шаблона
  • Добавлена возможность DOM парсинга как содержимого статей так и источников.
  • Добавлена возможность DOM замен, наряду с обычными заменами и заменами, с помощью регулярных выражений
А теперь непосредственно о самом главном, о DOM парсинге и о преимуществах, которые мы получаем, используя DOM шаблоны DOM – это аббревиатура от английскогоDocument Object Model”, что переводится на русский, как “Объектная Модель Документа”. Любой документ известной структуры с помощью DOM может быть представлен в виде дерева узлов, каждый узел которого представляет собой элемент, атрибут, текстовый, графический или любой другой объект. Узлы связаны между собой отношениями “родительский-дочерний”. Иными словами, система импорта новостей FDE Grabber теперь умеет построить из HTML кода документа иерархическое DOM дерево, состоящее из узлов, связанных между собой отношениями родитель-дочерний элемент. При этом технология DOM парсинга разработана нами самостоятельно, в стенах компании FDSTAR и не основывается ни на каких-либо чужих разработках. Как работает DOM парсинг на примере разбора содержимого статьи:
  • указывается DOM шаблон
  • FDE Grabber преобразует документ в иерархическое  DOM дерево
  • начинается поиск по указанному DOM шаблону необходимого нам элемента  и в случае его нахождения мы получим полезный контент
Как выглядит DOM шаблон В DOM шаблоне указываются DOM элементы (узлы)  в виде иерархической последовательности (как и в CSS стилях или, например jquery). Рассмотрим пример. Пусть, полезный контент содержится в документе, который выглядит следующим образом:
<body>
	<div>
		<table>
			<tr>
				<td>
					<div class="content">
полезное содержимое,
которое мы должны получить
					</div>
				</td>
			</tr>
		</table>
	</div>
</body>
Тогда мы можем выстроить некоторый шаблон, который будет выглядеть, например так: body div table div.content Последовательность body div table div.content означает, что мы ищем элемент div со стилевым классом “content“, который является дочерним по отношению к table, а table в свою очередь дочерним, по отношению к div, а div к body. Допускается указание идентификаторов, в виде div#id, где div - это элемент с идентификатором “id“. Кроме того, допускается указание любой общности элементов в виде “*”. Конструкция вида *.content означает любой элемент со стилевым классом “content” Ну хорошо, скажете вы, но это не позволяет распознать контент в большинстве сайтов, работающих на популярном движке DLE. Контент там находится, обычно в блочных элементах с уникальным идентификатором, вида news-id-555555 ДА! Именно поэтому мы сделали возможность указания дополнительного сопоставления атрибутов Например, id {preg} #content_\d+#i – это сопоставление значения атрибута id с указанным регулярным выражением #content_\d+#i. width {like} 100 – это сопоставление значения атрибута width со строковым значением “100” (не регулярное выражениие). Как несложно догадаться, для всех сайтов, работающих на DLE унас будет всего один универсальный шаблон: id {preg} #news\-id\-\d+#is Кроме поиска, по такой же схеме мы сделали возможность указания DOM замен. При этом можно заменить любой DOM элемент на указанную замену. Парсить с помощью DOM шаблонов в FDE Grabber можно не только полное содержимое статей, но и источники. Итоги Как мы видим, теперь имеется возможность ещё более удобного указания шаблонов для парсинга и время на реализацию новых идей!

FDE Grabber 4.4 уже доступен, читать далее...

Новая версия граббера сайтов FDE Grabber 4.3

Дорогие друзья, сообщаем о том, что вышла новая версия системы импорта новостей и статей FDE Grabber 4.3 О сделанных изменениях и дополнениях:

  1. Была изменена система логирования. Теперь в лог записи сохраняются не в виде одноязычной фразы, язык которой совпадает с языком интерфейса по умолчанию, а в виде параметров, что даёт возможность при просмотре лога показывать описание события на текущем языке, выбранном администратором
  2. Добавлена возможность замены регулярными выражениями, а также обычной замены текста после основных преобразований контента (когда именно следует  применять замену указывается при настройке категории)
  3. Добавлены два новых хака для указания ссылки на источник (для соблюдения авторских прав). Можно настроить указание ссылок на источник по своему усмотрению и вкусу, изменив файл хака (хаки обязательно требуется сохранять в кодировке UTF-8)
  4. Добавлен хак корректировки незакрытых тегов. Работает быстрее чем предыдущий. Теперь именно он используется в  комплексном хаке “красивый контент”
  5. Добавлена возможность предварительного просмотра статей при выводе списка статей. Просмотр можно осуществлять как в виде HTML так и обычном виде, добавлена возможность быстрого просмотра при наведении мышки на ссылку “просмотр”, с помощью ajax технологии
Теперь можно приобрести систему импорта новостей FDE Grabber в полностью автоматическом режиме, оплатив через систему электронных платежей WebMoney Transfer, подробности здесь: https://fde-cms.ru/buy_grabber.html Детальное описание системы импорта новостей FDE Grabber можно найти здесь: https://fdstar.net/fde-grabber.html Как обновить систему FDE Grabber на новую версию?
  • зайти в персональный кабинет на нашем сайте https://fde-cms.com/ или https://fde-cms.ru/
  • скачать дистрибутив версии 4.3*
  • следовать инструкции по обновлению, которая находится в корне дистрибутива (файл “how_to_update_from_4.2_to_4.3.txt”, текст сохранён в кодировке Windows-1251)
* Были вопросы о том, как это сделать, как скачать дистрибутив FDE Grabber – ответ прост:
  • Заходим на сайт https://fde-cms.com/ или https://fde-cms.ru/ (первый на английском языке, второй на русском) под своим логином. Если ещё логина нет, то требуется зарегистрироваться на странице регистрации: https://fde-cms.ru/do/registration/
  • Переходим в раздел лицензий:   https://fde-cms.ru/do/my_licenses/. Если у вас ещё нет лицензии, купить лицензию FDE Grabber на странице https://fde-cms.ru/do/order/ (требуется залогиниться)
  • Далее, на странице лицензий находим нужный нам дистрибутив и нажимаем на ссылку “скачать” (смотрите скриншот ниже). Здесь требуется предостеречь: не нажимайте по несколько раз на эту ссылку – генерация дистрибутива довольно длительный процесс, поэтому требуется дождаться ответа сервера, в случае двойного нажатия сайт вас забанит и придётся писать в службу поддержки для разблокировки

Новая версия граббера сайтов FDE Grabber 4.3, читать далее...

Вышла новая версия граббера 4.2

Дорогие друзья, с радостью вам сообщаем о том, что доступна новая версия системы импорта новостей: FDE Grabber 4.2 Изменения, сделанные в новой версии, а также что появилось нового:
  • добавлена возможность указания публикации на один из выбранных сайтов при настройке источника в граббере случайно. То есть, теперь вы сможете публиковать получаемые новости с определённого источника или на все указанные сайты или случайно на один из указанных
  • при настройке категории, в заменах регулярными выражениями вы сможете делать замены в HTML списках новостей (в HTML коде) до получения краткой новости (только для html источников). Это даёт возможность более гибкой настройки и парсинга html источников
Как обновиться на новую версию? – зайти в персональный кабинет на сайте https://fde-cms.com/ или https://fde-cms.ru/ - скачать дистрибутив версии 4.2 - следовать инструкции по обновлению, которая находится в корне дистрибутива (файл называется “how_to_update_from_4.1_to_4.2.txt”)

Вышла новая версия граббера 4.2, читать далее...