FDE Grabber 6.8 — увеличение скорости работы, модуль сброса пароля

Дорогие друзья, с радостью извещаем о том, что доступна для покупки, скачивания и обновления новая версия граббера новостей FDE Grabber 6.8 Мы проделали большую работу по оптимизации работы системы, и с большой гордостью рады представить новую версию, со значительно увеличенной скоростью работы и сниженной создаваемой нагрузкой на сервер, на котором расположена основная часть граббера. В среднем, на небольших объёмах контента прирост в скорости составляет 1.5-2 раза, на больших — от 2 до 3 раз. Добавлена возможность сброса забытого пароля: account_recoveryПроцесс сброса пароля состоит из двух частей:
  • заполнение формы с указанием логина или адреса электронной почты, отправка письма на связанный с аккаунтом e-mail адрес для подтверждения операции;
  • переход по ссылке, пришедшей в письме на связанный с аккаунтом e-mail адрес и, непосредственно, сам сброс пароля;
Для повышения безопасности и исключения возможности брутфорса логина и/или пароля, добавлена возможность логина в админцентр системы импорта новостей, с использованием каптчи (визуального кода). Для активации или отключения каптчи при логине следует зайти в настройки граббера, во вкладку «Основные настройки» и отметить или снять галочку «Использовать каптчу при логине«: use_captcha_1 При включённом режиме отображения каптчи при логине страница авторизации выглядит следующим образом: use_captcha_2Исправлены недочёты и недоработки прошлых версий.

FDE Grabber 6.8 — увеличение скорости работы, модуль сброса пароля, читать далее...

Новая версия граббера новостей FDE Grabber 6.7

Дорогие друзья, с радостью сообщаем о том, что доступна для покупки, обновления и скачивания новая версия граббера сайтов FDE Grabber 6.7 Новые возможности: В настройках системы импорта новостей (настройки->вкладка «граббинг») добавлена галочка Мягкое обновление источников. При её активации, граббер будет пытаться, по возможности, обращаться к источникам, так, чтобы предотвратить последовательное (подряд) получение данных от одного и того же хоста сайта-источника. Данная опция по умолчанию активирована и рекомендуется к дальнейшему применению: softy_feeds_recievingКроме того, в настройках граббера, добавлена опция Получать следующий источник только после окончания обхода пейджера у предыдущего. При её активации, если в парсере, например, имеется источник, в котором включен обход пейджера (или обход по параметру), то он будут обновляться и получаться до тех пор, пока не будет полностью завершён обход пейджера, и только после этого система перейдёт к обновлению следующего источника. В случае, если данную опцию, наоборот, отключить, то парсер будет обновлять источники по очереди, и обновление следующего источника произойдёт не по завершению обхода пейджера предыдущего источника, а лишь при завершении единичной итерации обхода: hard_paginationДобавлен функционал, позволяющий вести блокировку кронтабов граббера, для защиты от одновременного запуска, с помощью lock-файлов. Активировать использование блокировочных lock-файлов можно в настройках граббера новостей (настройки->вкладка «граббинг»), с помощью галочки: «Использовать блокировочные lock-файлы«. В дальнейшем, рекомендуется использовать данный функционал: crontab_lock_filesВ настройках категорий источников добавлена новая опция: ««. При её активации парсер новостей будет пытаться перед получением контента устранять ошибки, допущенные редактором сайта-источника: correct_tagsПри выводе списка полученных граббером статей добавлено выделение цветом (по бокам, аналогично тому, как это сделано при просмотре списков категорий  и источников граббера), соответствующее связанным категориям: colorizeИсправлены недочёты и недоработки прошлых версий.

Новая версия граббера новостей FDE Grabber 6.7, читать далее...

FDE Grabber 6.6 - новая версия граббера новостей

Дорогие друзья, извещаем о том, что уже доступна для скачивания, покупки или обновлений новая версия граббера новостей FDE Grabber 6.6 Среди изменений и дополнений можно выделить следующие:

Возможность указывать текстовые замены, а также замены с помощью регулярных выражений так, чтобы они применялись рекурсивно, до тех пор, пока будут находиться соответствия

Теперь в парсере новостей можно использовать замены регулярными выражениями и текстовые замены рекурсивно, например если необходимо изменить содержимое статьи или новости так, чтобы все картинки были изъяты из таблиц и вынесены из них, то можно использовать несложную замену, которая будет применена к тексту рекурсивно: #(<table[^<>]*>.*?)(<img[^<>]*>)(.*?</table>)#is  на \2\1\3 Ранее так можно было сделать лишь с помощью специального написанного для этого хака или указав это же выражение несколько раз (так, чтобы перекрыть все замены).

recursive_preg_replaceВозможность в обычных заменах, а также заменах с помощью регулярных выражений игнорировать пробелы и пробельные символы

Теперь не обязательно заботиться о том, чтобы в ваших заменах были указаны пробелы  и переносы строк точно также, как и в исходном тексте — теперь достаточно отметить галочку «не учитывать пробельные символы«:

space_ignoreВозможность выделения категорий источников и источников цветом

Для этого, в настройках категорий источников добавлена настройка ««: colorize Если выделения цветом указаны, то списки категорий и источников могут выглядеть так: colorize2

Возможность группировки списков источников по категориям

Теперь при выводе списков источников, для удобства восприятия, можно перегруппировать записи по категориям источников group_by_сategories

Исправлены ошибки и недочёты прошлых версий

FDE Grabber 6.6 - новая версия граббера новостей, читать далее...

Новая версия граббера новостей FDE Grabber 6.5 - прокси-чекер и веб-интерфейс для работы со списком proxy-серверов

Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и обновления новая версия граббера новостей FDE Grabber 6.5 Новые возможности и функционал:

Добавлен веб-интерфейс для работы со списком прокси-серверов

proxy_servers_interfaceДанный интерфейс позволяет добавлять, редактировать, удалять, изменять активность, производить массовые действия над прокси-серверами, а также добавлять proxy-сервера в систему импорта новостей списками (одновременно, сразу много): add_new_proxy_server

добавление нового proxy-сервера

edit_proxy_serverредактирование proxy-сервера

mass_proxy_servers_additionмассовое добавление списка с proxy-серверами

Добавлен механизм проверки прокси-серверов (proxy-checker, прокси-чекер)

Проверка прокси-серверов на работоспособность происходит непосредственно при работе системы импорта новостей (её кронтабов). Например, если proxy server окажется нерабочим, то граббер его автоматически сделает неактивным. Для того, чтобы включить эту функцию, потребуется зайти в настройки граббера (вкладка «граббинг«) и отметить галочку «Автоматически отключать прокси-сервер, если размер полученного через него контента при запуске кронтабов будет равен нулю«: proxy_checker

Добавлены новые события, отвечающие за показ в логе событий граббера сообщений о доступности или недоступности прокси-серверов, а также исправлены мелкие недочёты и недоработки прошлых версий системы импорта новостей

Новая версия граббера новостей FDE Grabber 6.5 - прокси-чекер и веб-интерфейс для работы со списком proxy-серверов, читать далее...

FDE Grabber 6.4 — возможность ведения публикации по протоколу XML-RPC

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия граббера новостей FDE Grabber 6.4 Нами была проделана большая работа и основным её результатом стала поддержка публикации статей и новостей, а также связанных с ними файлов с помощью протокола XML-RPC В настройках сайта для публикации в граббере добавлено два новых типа поддерживаемых систем:
  • XML-RPC MetaWeblog API
  • XML-RPC WordPress API
Среди данных, которые следует указывать, при выборе публикации по протоколам XML-RPC:
  • , чаще всего можно оставлять пустым
xml-rpcСледует отметить, что протокол XML-RPC поддерживается многими CMS и сервисами и является единственным возможным средством публикации информации в том случае, когда нет возможности получить непосредственный доступ к файлам и папкам системы, в которую необходима настройка публикации. Приведём список систем и CMS, которые поддерживают публикацию по протоколу XML-RPC:
  • WordPress, WordPress MU, а также одноимённый сервис бесплатных блогов WordPress.com
  • Drupal
  • Joomla (при наличии специального модуля)
  • e107 (при наличии специального модуля)
  • DotNetNuke
  • TYPO3
  • и другие
Кроме того, были внесены изменения в системе работы с сайтами в граббере, теперь, в зависимости от специфики выбранного типа CMS или сервиса появляются/исчезают соответствующие настройки для публикации.

FDE Grabber 6.4 — возможность ведения публикации по протоколу XML-RPC, читать далее...

FDE Grrabber 6.3, с возможностью HTTP аутентификации и более гибкой настройкой шаблонов

Дорогие друзья, извещаем о том, что уже доступна для покупки и обновлений новая версия граббера новостей FDE Grabber 6.3, которая несёт в себе ещё больше полезных функций и удобств. Нами была проделана большая работа при подготовке данной версии, процесс настройки парсера сделан ещё более удобным и универсальным. А теперь о том, что же нами было сделано:

Добавлен функционал  получения дополнительного контента, такого как: заголовок новости, дата, категория, краткое описание из полных версий страниц. Для этого, в настройках категории граббера введены соответствующие дополнительные параметры

При составлении DOM шаблонов добавлено указание того, какой именно контент ему соответствует: dom_pattern Типы контента:
  • Полное описание статьи
  • Заголовок статьи
  • Краткое описание статьи
  • Дата статьи
  • Имя категории
При составлении простого шаблона парсинга добавлены новые переменные {name}, {short}, {date} и {category}: simple_pattern {name} — соответствует заголовку статьи; {short} — соответствует вводному тексту статьи; {date} — соответствует дате статьи; {category} — соответствует названию категории; Переработана система тестирования категории источников, добавлен вывод новых данных: category_testИзменена и улучшена логика поведения граббера новостей тогда, когда он определяет подходящий шаблон для парсинга. Так, теперь, полное описание он сможет получить, например, из одного шаблона, а дату или, например, заголовок из другого.

В настройках категории источников, а также настройках самих источников добавлена возможность указания логина и пароля для HTTP аутентификации:

http_authenticationКроме логина и пароля можно также указать и метод шифрования, в данный момент поддерживаются следующие:
  • Basic
  • Digest
  • GSS Negotiate
  • NTLM
  • Любой
  • Любой безопасный
Следует отметить, что самым распространённым является тип "Basic".

При отсутствующей картинке в полученном тексте, теперь, парсер новостей попытается её получить из метатегов:

<meta property="og:image" content="http://www.com.com/0063_11.jpg" />
<meta property="twitter:image" content="http://www.com.com/0063_11.jpg" />
<link rel="image_src" type="image/jpeg" href="http://www.com.com/0063_11.jpg"/>

В настройках категории граббера добавлена возможность указания диапазона, из которого будет выбрано случайное количество фейковых комментариев при публикации на сайт:

random_fake_comments_range

Исправлены недочёты и недоработки прошлых версий, а также оптимизирован процесс граббинга.

FDE Grrabber 6.3, с возможностью HTTP аутентификации и более гибкой настройкой шаблонов, читать далее...

FDE Grabber 6.2 уже доступен для покупки, скачивания и обновления

Дорогие друзья, с радостью сообщаем о том, что доступна для покупки, скачивания и обновления новая версия граббера новостей/статей FDE Grabber 6.2 Изменения и дополнения, вошедшие в новую версию:

В настройках категории источников граббера добавлена новая возможность указания минимальной длины полной новости

В том случае, когда длина текста полной новости (без учёта HTML форматирования, но с учётом пробелов) меньше заданной, то инициируется ошибка и новость удаляется

min_full_news_length

В настройках источников граббера добавлена возможность указания минимальной длины краткой новости

В том случае, когда длина текста краткой новости (без учёта HTML форматирования, но с учётом пробелов) меньше заданной, то инициируется ошибка и новость удаляется

min_short_news_length

В настройках категории источников парсера новостей добавлена возможность указания того, на какие именно картинки должны накладываться вотермарки (водяные знаки):

watermarks Указанная настройка доступна отдельно, как для  краткой, так и для полной новости. Среди возможных значений, можно указать следующие:
  • не накладывать вотермарки
  • накладывать вотермарки на все картинки
  • накладывать вотермарки только на картинки-превью
  • накладывать вотермарки только на полные версии картинок
Это позволяет гораздо гибче вести настройку указания наложения вотермарков на изображения. Обращаем ваше внимание на то, что: Разные настройки наложения водяных знаков на изображения для краткой и полной новости могут потребовать создания дополнительных картинок, что отразится на размере, занимаемом файлами, на диске вашего сервера.

В настройках сайтов для публикации, добавлена возможность указания минимальной длины генерируемых граббером ключевых слов

keywords
В некоторых CMS, например DLE (Data Life Engine), есть возможность указания связанных с новостью ключевых слов для метатега META. Граббер автоматически генерирует ключевые слова и отправляет их при публикации новости.
Данная настойка позволяет отфильтровывать слишком короткие слова и оставлять только нужной нам длины.

Исправлены мелкие ошибки и недочёты в работе системы импорта новостей

FDE Grabber 6.2 уже доступен для покупки, скачивания и обновления, читать далее...

Вышла новая версия системы импорта новостей FDE Grabber 6.1

Дорогие друзья, с радостью сообщаем о том, что доступна для покупки и обновлений новая версия граббера новостей FDE Grabber 6.1 Изменения и дополнения:

В настройках категории источников парсера добавлена возможность фильтрации картинок по наименьшему размеру:

Теперь можно указать минимальную ширину и/или высоту изображений, по которым можно отфильтровывать ненужные картинки. Среди возможных действий можно указать:
  • удалять картинки из кода статьи
  • удалять статью, содержащую такие картинки
  • ничего не делать
Фильтрацию картинок можно осуществлять как в краткой, так и в полной новости по отдельности.

Добавлен функционал докачки файлов при обрывах связи или тогда, когда сервер отдаёт их по частям (206 Partial Content)

Теперь, если при скачивании файла или картинки полученный размер отличается от задекларированного в заголовках сервера, с которого идёт скачивание, то FDE Grabber попытается докачать данный файл. Это, несомненно, значительно улучшает стабильность при скачивании файлов.

Обновлены хаки машинного перевода

Внимание! С 1 июля 2013 года Yandex Translate API вводит доступ к своему сервису по ключу разработчика. Получить этот ключ можно здесь: http://api.yandex.ru/key/form.xml?service=trnsl Если вы пользуетесь хаками машинного перевода в граббере, то вам потребуется его обновить, получить ключ разработчика, и указать его в настройках системы импорта новостей FDE Grabber, иначе с 1 июля они перестанут работать.

Исправлены  ошибки и недчёты прошлых версий

Вышла новая версия системы импорта новостей FDE Grabber 6.1, читать далее...

FDE Grabber 6.0 - работа с FTP

Дорогие друзья, извещаем о том, что доступна для покупки и обновления новая версия парсера новостей и статей FDE Grabber 6.0 В новой версии была существенно переработана система публикации граббера, и теперь появилась  возможность, позволяющая вести публикацию полученных парсером файлов и изображений с помощью FTP протокола. Таким образом, теперь есть возможность вести публикацию файлов и изображений тремя способами:
  • Напрямую в указанную папку. Этот способ подходит тогда, когда система парсинга новостей установлена на том же сервере, куда идёт публикация.
  • С использованием транзитной системы граббера - данный способ применим в том случае, когда парсер контента установлен на одном сервере, а сайт, в который идёт публикация на другом.
  • Через FTP протокол. Этот вариант подходит для публикации файлов и изображений и когда парсер установлен на том же сервере и тогда, когда он установлен на отличном сервере от того, на котором расположен сайт, в который идёт публикация полученных данных.
Для того, чтобы активировать публикацию через FTP протокол потребуется в настройках сайта отметить опцию «» и заполнить некоторые дополнительные поля: Здесь потребуется указать FTP хост, порт, логин пользователя, его пароль, режим подключения активный/пассивный и пути на FTP сервере к сайту и к папке с загрузками. Также, в новой версии системы импорта новостей улучшен обход антилич (antileech) защиты сайтов от скачивания изображений и исправлены мелкие недочёты и недоработки прошлых версий.

FDE Grabber 6.0 - работа с FTP, читать далее...

Вышла новая версия системы импорта новостей FDE Grabber 5.9

Дорогие друзья, извещаем вас о том, что доступна для покупки и скачивания новая версия граббера новостей FDE Grabber 5.9

Изменения и дополнения:

1 — Добавлена поддержка публикации полученных статей на сайты в разных часовых поясах (временных зонах) В настройках категорий источников добавлен выбор часового пояса сайта-источника: Опция для выбора часового пояса добавлена, также, в настройках сайта для публикации полученных новостей: Таким образом, вы сможете легко настроить парсер новостей под самые необычные задачи, например когда сайт-источник работает в одном часовом поясе (временной зоне), граббер в другом, а ваш сайт, на который идёт публикация полученных статей в третьем. Напомним, что выбор часового пояса, который используется для отображения дат в самой системе импорта новостей указывается в разделе настроек системы: 2 — В настройках категорий источников граббера новостей добавлена опция, позволяющая включить повышение резкости у изображений, после изменения их размера, например уменьшения: 3 — В настройках категорий источников системы импорта новостей добавлена возможность указания произвольного содержимого атрибутов alt и title в тегах картинок: 4 — Улучшена система обхода антилич защиты от скачивания файлов и картинок 5 — Исправлены мелкие недочёты и недоработки прошлых версий

Вышла новая версия системы импорта новостей FDE Grabber 5.9, читать далее...