Дорогие друзья, с радостью извещаем о том, что доступна для покупки, скачивания и обновления новая версия граббера новостей FDE Grabber 6.8 Мы проделали большую работу по оптимизации работы системы, и с большой гордостью рады представить новую версию, со значительно увеличенной скоростью работы и сниженной создаваемой нагрузкой на сервер, на котором расположена основная часть граббера. В среднем, на небольших объёмах контента прирост в скорости составляет 1.5-2 раза, на больших — от 2 до 3 раз. Добавлена возможность сброса забытого пароля: Процесс сброса пароля состоит из двух частей:

• заполнение формы с указанием логина или адреса электронной почты, отправка письма на связанный с аккаунтом e-mail адрес для подтверждения операции;
• переход по ссылке, пришедшей в письме на связанный с аккаунтом e-mail адрес и, непосредственно, сам сброс пароля;

Для повышения безопасности и исключения возможности брутфорса логина и/или пароля, добавлена возможность логина в админцентр системы импорта новостей, с использованием каптчи (визуального кода). Для активации или отключения каптчи при логине следует зайти в настройки граббера, во вкладку «Основные настройки» и отметить или снять галочку «Использовать каптчу при логине«: При включённом режиме отображения каптчи при логине страница авторизации выглядит следующим образом: Исправлены недочёты и недоработки прошлых версий.

Дорогие друзья, с радостью сообщаем о том, что доступна для покупки, обновления и скачивания новая версия граббера сайтов FDE Grabber 6.7 Новые возможности: В настройках системы импорта новостей (настройки->вкладка «граббинг») добавлена галочка Мягкое обновление источников. При её активации, граббер будет пытаться, по возможности, обращаться к источникам, так, чтобы предотвратить последовательное (подряд) получение данных от одного и того же хоста сайта-источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению: Кроме того, в настройках граббера, добавлена опция Получать следующий источник только после окончания обхода пейджера у предыдущего. При её активации, если в парсере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться и получаться до тех пор, пока не будет полностью завершён обход пейджера, и только после этого система перейдёт к обновлению следующего источника. В случае, если данную опцию, наоборот, отключить, то парсер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по завершению обхода пейджера предыдущего источника, а лишь при завершении единичной итерации обхода: Добавлен функционал, позволяющий вести блокировку кронтабов граббера, для защиты от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных lock-файлов можно в настройках граббера новостей (настройки->вкладка «граббинг»), с помощью галочки: «Использовать блокировочные lock-файлы«. В дальнейшем, рекомендуется использовать данный функционал: В настройках категорий источников добавлена новая опция: «Корректировать теги перед парсингом«. При её активации парсер новостей будет пытаться перед получением контента устранять ошибки, допущенные редактором сайта-источника: При выводе списка полученных граббером статей добавлено выделение цветом (по бокам, аналогично тому, как это сделано при просмотре списков категорий  и источников граббера), соответствующее связанным категориям: Исправлены недочёты и недоработки прошлых версий.

Дорогие друзья, извещаем о том, что уже доступна для скачивания, покупки или обновлений новая версия граббера новостей FDE Grabber 6.6 Среди изменений и дополнений можно выделить следующие:

Возможность указывать текстовые замены, а также замены с помощью регулярных выражений так, чтобы они применялись рекурсивно, до тех пор, пока будут находиться соответствия

Теперь в парсере новостей можно использовать замены регулярными выражениями и текстовые замены рекурсивно, например если необходимо изменить содержимое статьи или новости так, чтобы все картинки были изъяты из таблиц и вынесены из них, то можно использовать несложную замену, которая будет применена к тексту рекурсивно: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3 Ранее так можно было сделать лишь с помощью специального написанного для этого хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

Возможность в обычных заменах, а также заменах с помощью регулярных выражений игнорировать пробелы и пробельные символы

Теперь не обязательно заботиться о том, чтобы в ваших заменах были указаны пробелы  и переносы строк точно также, как и в исходном тексте — теперь достаточно отметить галочку «не учитывать пробельные символы«:

Возможность выделения категорий источников и источников цветом

Для этого, в настройках категорий источников добавлена настройка «Выделение цветом«: Если выделения цветом указаны, то списки категорий и источников могут выглядеть так:

Возможность группировки списков источников по категориям

Теперь при выводе списков источников, для удобства восприятия, можно перегруппировать записи по категориям источников

Исправлены ошибки и недочёты прошлых версий

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия граббера новостей FDE Grabber 6.5 Новые возможности и функционал:

Добавлен веб-интерфейс для работы со списком прокси-серверов

Данный интерфейс позволяет добавлять, редактировать, удалять, изменять активность, производить массовые действия над прокси-серверами, а также добавлять proxy-сервера в систему импорта новостей списками (одновременно, сразу много):

добавление нового proxy-сервера

редактирование proxy-сервера

массовое добавление списка с proxy-серверами

Добавлен механизм проверки прокси-серверов (proxy-checker, прокси-чекер)

Проверка прокси-серверов на работоспособность происходит непосредственно при работе системы импорта новостей (её кронтабов). Например, если proxy server окажется нерабочим, то граббер его автоматически сделает неактивным. Для того, чтобы включить эту функцию, потребуется зайти в настройки граббера (вкладка «граббинг«) и отметить галочку «Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю«:

Добавлены новые события, отвечающие за показ в логе событий граббера сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий системы импорта новостей

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия граббера новостей FDE Grabber 6.4 Нами была проделана большая работа и основным её результатом стала поддержка публикации статей и новостей, а также связанных с ними файлов с помощью протокола XML-RPC В настройках сайта для публикации в граббере добавлено два новых типа поддерживаемых систем:

• XML-RPC MetaWeblog API
• XML-RPC WordPress API

Среди данных, которые следует указывать, при выборе публикации по протоколам XML-RPC:

• URL XML-RPC сервера
• ID сайта (или блога), чаще всего можно оставлять пустым
• Логин пользователя
• Пароль пользователя

Следует отметить, что протокол XML-RPC поддерживается многими CMS и сервисами и является единственным возможным средством публикации информации в том случае, когда нет возможности получить непосредственный доступ к файлам и папкам системы, в которую необходима настройка публикации. Приведём список систем и CMS, которые поддерживают публикацию по протоколу XML-RPC:

• WordPress, WordPress MU, а также одноимённый сервис бесплатных блогов WordPress.com
• Drupal
• Joomla (при наличии специального модуля)
• e107 (при наличии специального модуля)
• DotNetNuke
• TYPO3
• и другие

Кроме того, были внесены изменения в системе работы с сайтами в граббере, теперь, в зависимости от специфики выбранного типа CMS или сервиса появляются/исчезают соответствующие настройки для публикации.

Дорогие друзья, извещаем о том, что уже доступна для покупки и обновлений новая версия граббера новостей FDE Grabber 6.3, которая несёт в себе ещё больше полезных функций и удобств. Нами была проделана большая работа при подготовке данной версии, процесс настройки парсера сделан ещё более удобным и универсальным. А теперь о том, что же нами было сделано:

Добавлен функционал  получения дополнительного контента, такого как: заголовок новости, дата, категория, краткое описание из полных версий страниц. Для этого, в настройках категории граббера введены соответствующие дополнительные параметры

При составлении DOM шаблонов добавлено указание того, какой именно контент ему соответствует: Типы контента:

• Полное описание статьи
• Заголовок статьи
• Краткое описание статьи
• Дата статьи
• Имя категории

При составлении простого шаблона парсинга добавлены новые переменные {name}, {short}, {date} и {category}: {name} — соответствует заголовку статьи; {short} — соответствует вводному тексту статьи; {date} — соответствует дате статьи; {category} — соответствует названию категории; Переработана система тестирования категории источников, добавлен вывод новых данных: Изменена и улучшена логика поведения граббера новостей тогда, когда он определяет подходящий шаблон для парсинга. Так, теперь, полное описание он сможет получить, например, из одного шаблона, а дату или, например, заголовок из другого.

В настройках категории источников, а также настройках самих источников добавлена возможность указания логина и пароля для HTTP аутентификации:

Кроме логина и пароля можно также указать и метод шифрования, в данный момент поддерживаются следующие:

• Basic
• Digest
• GSS Negotiate
• NTLM
• Любой
• Любой безопасный

Следует отметить, что самым распространённым является тип "Basic".

При отсутствующей картинке в полученном тексте, теперь, парсер новостей попытается её получить из метатегов:

<meta property="og:image" content="https://www.com.com/0063_11.jpg" />

<meta property="twitter:image" content="https://www.com.com/0063_11.jpg" />

<link rel="image_src" type="image/jpeg" href="https://www.com.com/0063_11.jpg"/>

В настройках категории граббера добавлена возможность указания диапазона, из которого будет выбрано случайное количество фейковых комментариев при публикации на сайт:

Исправлены недочёты и недоработки прошлых версий, а также оптимизирован процесс граббинга.

Дорогие друзья, с радостью сообщаем о том, что доступна для покупки, скачивания и обновления новая версия граббера новостей/статей FDE Grabber 6.2 Изменения и дополнения, вошедшие в новую версию:

В настройках категории источников граббера добавлена новая возможность указания минимальной длины полной новости

В том случае, когда длина текста полной новости (без учёта HTML форматирования, но с учётом пробелов) меньше заданной, то инициируется ошибка и новость удаляется

В настройках источников граббера добавлена возможность указания минимальной длины краткой новости

В том случае, когда длина текста краткой новости (без учёта HTML форматирования, но с учётом пробелов) меньше заданной, то инициируется ошибка и новость удаляется

В настройках категории источников парсера новостей добавлена возможность указания того, на какие именно картинки должны накладываться вотермарки (водяные знаки):

Указанная настройка доступна отдельно, как для  краткой, так и для полной новости. Среди возможных значений, можно указать следующие:

• не накладывать вотермарки
• накладывать вотермарки на все картинки
• накладывать вотермарки только на картинки-превью
• накладывать вотермарки только на полные версии картинок

Это позволяет гораздо гибче вести настройку указания наложения вотермарков на изображения. Обращаем ваше внимание на то, что: Разные настройки наложения водяных знаков на изображения для краткой и полной новости могут потребовать создания дополнительных картинок, что отразится на размере, занимаемом файлами, на диске вашего сервера.

В настройках сайтов для публикации, добавлена возможность указания минимальной длины генерируемых граббером ключевых слов

В некоторых CMS, например DLE (Data Life Engine), есть возможность указания связанных с новостью ключевых слов для метатега META. Граббер автоматически генерирует ключевые слова и отправляет их при публикации новости.

Данная настойка позволяет отфильтровывать слишком короткие слова и оставлять только нужной нам длины.

Исправлены мелкие ошибки и недочёты в работе системы импорта новостей

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия парсера новостей и статей FDE Grabber 6.0 В новой версии была существенно переработана система публикации граббера, и теперь появилась  возможность, позволяющая вести публикацию полученных парсером файлов и изображений с помощью FTP протокола. Таким образом, теперь есть возможность вести публикацию файлов и изображений тремя способами:

• Напрямую в указанную папку. Этот способ подходит тогда, когда система парсинга новостей установлена на том же сервере, куда идёт публикация.
• С использованием транзитной системы граббера - данный способ применим в том случае, когда парсер контента установлен на одном сервере, а сайт, в который идёт публикация на другом.
• Через FTP протокол. Этот вариант подходит для публикации файлов и изображений и когда парсер установлен на том же сервере и тогда, когда он установлен на отличном сервере от того, на котором расположен сайт, в который идёт публикация полученных данных.

Для того, чтобы активировать публикацию через FTP протокол потребуется в настройках сайта отметить опцию «Использовать FTP для публикаци файлов» и заполнить некоторые дополнительные поля: Здесь потребуется указать FTP хост, порт, логин пользователя, его пароль, режим подключения активный/пассивный и пути на FTP сервере к сайту и к папке с загрузками. Также, в новой версии системы импорта новостей улучшен обход антилич (antileech) защиты сайтов от скачивания изображений и исправлены мелкие недочёты и недоработки прошлых версий.

Дорогие друзья, извещаем вас о том, что доступна для покупки и скачивания новая версия граббера новостей FDE Grabber 5.9

Изменения и дополнения:

1 — Добавлена поддержка публикации полученных статей на сайты в разных часовых поясах (временных зонах) В настройках категорий источников добавлен выбор часового пояса сайта-источника: Опция для выбора часового пояса добавлена, также, в настройках сайта для публикации полученных новостей: Таким образом, вы сможете легко настроить парсер новостей под самые необычные задачи, например когда сайт-источник работает в одном часовом поясе (временной зоне), граббер в другом, а ваш сайт, на который идёт публикация полученных статей в третьем. Напомним, что выбор часового пояса, который используется для отображения дат в самой системе импорта новостей указывается в разделе настроек системы: 2 — В настройках категорий источников граббера новостей добавлена опция, позволяющая включить повышение резкости у изображений, после изменения их размера, например уменьшения: 3 — В настройках категорий источников системы импорта новостей добавлена возможность указания произвольного содержимого атрибутов alt и title в тегах картинок: 4 — Улучшена система обхода антилич защиты от скачивания файлов и картинок 5 — Исправлены мелкие недочёты и недоработки прошлых версий