FDE Grabber 6.4 — возможность ведения публикации по протоколу XML-RPC
- XML-RPC MetaWeblog API
- XML-RPC WordPress API
- , чаще всего можно оставлять пустым
- WordPress, WordPress MU, а также одноимённый сервис бесплатных блогов WordPress.com
- Drupal
- Joomla (при наличии специального модуля)
- e107 (при наличии специального модуля)
- DotNetNuke
- TYPO3
- и другие
FDE Grabber 6.4 — возможность ведения публикации по протоколу XML-RPC, читать далее...
FDE Grabber 6.2 уже доступен для покупки, скачивания и обновления
В настройках категории источников граббера добавлена новая возможность указания минимальной длины полной новости
В том случае, когда длина текста полной новости (без учёта HTML форматирования, но с учётом пробелов) меньше заданной, то инициируется ошибка и новость удаляетсяВ настройках источников граббера добавлена возможность указания минимальной длины краткой новости
В том случае, когда длина текста краткой новости (без учёта HTML форматирования, но с учётом пробелов) меньше заданной, то инициируется ошибка и новость удаляетсяВ настройках категории источников парсера новостей добавлена возможность указания того, на какие именно картинки должны накладываться вотермарки (водяные знаки):
Указанная настройка доступна отдельно, как для краткой, так и для полной новости. Среди возможных значений, можно указать следующие:- не накладывать вотермарки
- накладывать вотермарки на все картинки
- накладывать вотермарки только на картинки-превью
- накладывать вотермарки только на полные версии картинок
В настройках сайтов для публикации, добавлена возможность указания минимальной длины генерируемых граббером ключевых слов
В некоторых CMS, например DLE (Data Life Engine), есть возможность указания связанных с новостью ключевых слов для метатега META. Граббер автоматически генерирует ключевые слова и отправляет их при публикации новости.Данная настойка позволяет отфильтровывать слишком короткие слова и оставлять только нужной нам длины.
Исправлены мелкие ошибки и недочёты в работе системы импорта новостей
FDE Grabber 6.2 уже доступен для покупки, скачивания и обновления, читать далее...
Вышла новая версия системы импорта новостей FDE Grabber 6.1
Дорогие друзья, с радостью сообщаем о том, что доступна для покупки и обновлений новая версия граббера новостей FDE Grabber 6.1 Изменения и дополнения:
В настройках категории источников парсера добавлена возможность фильтрации картинок по наименьшему размеру:
Теперь можно указать минимальную ширину и/или высоту изображений, по которым можно отфильтровывать ненужные картинки. Среди возможных действий можно указать:- удалять картинки из кода статьи
- удалять статью, содержащую такие картинки
- ничего не делать
Добавлен функционал докачки файлов при обрывах связи или тогда, когда сервер отдаёт их по частям (206 Partial Content)
Теперь, если при скачивании файла или картинки полученный размер отличается от задекларированного в заголовках сервера, с которого идёт скачивание, то FDE Grabber попытается докачать данный файл. Это, несомненно, значительно улучшает стабильность при скачивании файлов.Обновлены хаки машинного перевода
Внимание! С 1 июля 2013 года Yandex Translate API вводит доступ к своему сервису по ключу разработчика. Получить этот ключ можно здесь: https://api.yandex.ru/key/form.xml?service=trnsl Если вы пользуетесь хаками машинного перевода в граббере, то вам потребуется его обновить, получить ключ разработчика, и указать его в настройках системы импорта новостей FDE Grabber, иначе с 1 июля они перестанут работать.Исправлены ошибки и недчёты прошлых версий
Вышла новая версия системы импорта новостей FDE Grabber 6.1, читать далее...
FDE Grabber 6.0 - работа с FTP
- Напрямую в указанную папку. Этот способ подходит тогда, когда система парсинга новостей установлена на том же сервере, куда идёт публикация.
- С использованием транзитной системы граббера - данный способ применим в том случае, когда парсер контента установлен на одном сервере, а сайт, в который идёт публикация на другом.
- Через FTP протокол. Этот вариант подходит для публикации файлов и изображений и когда парсер установлен на том же сервере и тогда, когда он установлен на отличном сервере от того, на котором расположен сайт, в который идёт публикация полученных данных.
Вышла новая версия системы импорта новостей FDE Grabber 5.9
Изменения и дополнения:
1 — Добавлена поддержка публикации полученных статей на сайты в разных часовых поясах (временных зонах) В настройках категорий источников добавлен выбор часового пояса сайта-источника: Опция для выбора часового пояса добавлена, также, в настройках сайта для публикации полученных новостей: Таким образом, вы сможете легко настроить парсер новостей под самые необычные задачи, например когда сайт-источник работает в одном часовом поясе (временной зоне), граббер в другом, а ваш сайт, на который идёт публикация полученных статей в третьем. Напомним, что выбор часового пояса, который используется для отображения дат в самой системе импорта новостей указывается в разделе настроек системы: 2 — В настройках категорий источников граббера новостей добавлена опция, позволяющая включить повышение резкости у изображений, после изменения их размера, например уменьшения: 3 — В настройках категорий источников системы импорта новостей добавлена возможность указания произвольного содержимого атрибутов alt и title в тегах картинок: 4 — Улучшена система обхода антилич защиты от скачивания файлов и картинок 5 — Исправлены мелкие недочёты и недоработки прошлых версийВышла новая версия системы импорта новостей FDE Grabber 5.9, читать далее...
FDE Grabber 5.8 - скачивание дополнительных файлов
Дорогие друзья, с радостью сообщаем о том, что доступна для покупки и скачивания новая версия граббера новостей FDE Grabber 5.8 Изменения, а также новые функции, вошедшие в новую версию парсера:
Изменение прав на необходимые файлы и папки из админцентра
В разделе «Утилиты» добавлена возможность, с помощью которой можно попытаться исправить неправильно выставленные права на необходимые файлы и папки:«Попытаться исправить неправильно выставленные права на нужные файлы и папки»Если скрипты граббера запускаются от того же пользователя, которым были записаны на сервер файлы и папки парсера, то попытка исправления неправильно выставленных прав на файлы и папки увенчается успехом - в противном случае вам придётся выставить необходимые права вручную. При проведении теста настроек сайта для публикации, FDE Grabber, в случае обнаружения неправильно выставленных прав на необходимые файлы и папки тоже пытается их исправить.
Скачивание прикреплённых к статьям файлов
В настройках граббера добавлено указание разрешённых для загрузки на сервер типов файлов (их расширений): Следует отметить, что в данном списке указывать расширения файлов «jpeg«, «jpg«,»gif«, «png» не нужно — их граббер учитывает самостоятельно В настройках категории источников добавлена галочка, включающая скачивание разрешённых в настройках типов файлов на сервер Если её отметить, то при необходимости можно указать дополнительные опции: Когда ссылки на скачивание файлов отображаются без расширений и невозможно заранее определить нужно ли скачивать файл по данной ссылке или нет, например https://test.com/download/36345783, то можно указать дополнительные шаблоны для распознавания ссылок на скачивание (в виде регулярных выражений), например: #/download/\d+#i Для скачивания прикреплённых к новостям файлов создан кронтаб «crontab_downloads.php«, поэтому в разделе ручной крон появилась соответствующая кнопка: При включенной в настройках категории источников опции скачивания прикреплённых к статье файлов, после того, как новость будет получена, она не изменит свой статус на «ожидает публикации» до тех пор, пока не скачаются все прикреплённые к данной новости файлы — только после скачивания последнего прикреплённого файла новость изменит свой статус на "ожидает публикации".Исправлены мелкие недочёты и недоработки прошлых версий
FDE Grabber 5.8 - скачивание дополнительных файлов, читать далее...
В сети появилась null версия FDE Grabber 5.7
В сети появилась null версия FDE Grabber 5.7, читать далее...
Вышла новая версия парсера новостей FDE Grabber 5.6
Переработан и улучшен интерфейс редактора простых шаблонов:
Отрефакторен движок простого парсинга, теперь он позволят забыть о пробелах и переносах строк при составлении простого шаблона и привносит ряд удобных дополнительных возможностей:
- можно использовать новые переменные в шаблоне:
- {a} — соответствует ненужному тексту, соответствующему регулярному выражению ([^<>]*?)
- {d} — соответствует ненужному числу, соответствующему регулярному выражению (\d+)
- При указании в шаблоне простого парсинга переменной теперь можно указывать уточнения того, какой контент должен быть сохранён в данную переменную, с помощью регулярных выражений: {переменная[регулярное выражение]}.
- Пример 1: запись {description[[a-z\d\s\.]+]} означает, что в description может содержаться только текст, состоящий из латинских символов, цифр, пробельных символов и точки, иначе шаблон не подойдёт.
- Пример 2: запись {null[\d+]} соответствует ненужному контенту, состоящему из последовательности цифр, аналог {d}
- Пример 3: запись {null[[a-z]+]} соответствует ненужному контенту, состоящему из последовательности латинских символов (от регистра не зависит)
В настройках категории источником граббера добавлено указание списка разрешённых хостов в ссылках исходной статьи
Данная функция позволяет фильтровать новостные статьи и оставлять только авторские. Принцип её работы заключается в том, что когда в новостной статье содержатся ссылки на чужие сайты - с большой долей вероятности, она не является авторской. Пример: пусть, нам требуется импортировать какие-либо новостные статьи с какого-либо сайта, для определённости его адрес: https://www.test.com/. И нам нужны только авторские новости с этого сайта, а не перепечатанные, то есть в которых содержатся ссылки на третьи сайты-источники. В большинстве случаев авторские новости могут или вообще не содержать никаких ссылок или содержать ссылки на внутренние статьи, которые расположены в пределах хоста сайта-источника test.com или его поддоменов *.test.com, поэтому в настройках категории для осуществления фильтрации по данному принципу мы указываем список разрешённых хостов в ссылках исходной статьи: test.com, *.test.com Любая статья, содержащая в ссылках хосты, не входящие в указанный список не будет сохранена граббером.В настройках источника граббера теперь можно уточнить какие адреса ссылок на статьи нам нужны, с помощью регулярного выражения
Пример: пусть нам требуется распарсить источник, в котором ссылки на статьи имеют вид https://test.com/news/* и https://test.com/articles/*. И нас интересуют только те статьи, адреса которых начинаются с https://test.com/news/, поэтому в настройках источника граббера, мы можем указать соответствующее уточнение, с помощью регулярного выражения: # ^https://test\.com/news/#i Все новости, адрес которых начинается с текста https://test.com/news/ парсер статей сохранит, а остальные, например адрес которых начинается с https://test.com/articles/ нетВ настройках категории источников парсера добавлены новые поля, отвечающие за название сайта источника и за его адрес
Эти поля используются при указании ссылок в статьях на сайт-источник:Добавлен хак для указания ссылок на сайт-источник в первом абзаце текста статьи
Некоторые сайты позволяют перепечатку новостей, но при условии указания обратной ссылки, причём не где-либо, а именно не ниже первого абзаца статьи. Новый хак позволяет это сделать. Текст статьи без использования хака: Текст статьи с использованием хака:Вышла новая версия парсера новостей FDE Grabber 5.6, читать далее...
Новая версия парсера контента FDE Grabber 5.3
Дорогие друзья, извещаем о том, что доступна для тестирования, покупки и скачивания новая версия парсера контента FDE Grabber 5.3 Изменения, коснувшиеся новой версии:
- Добавлен модуль для проведения тестирования и отладки регулярных выражений. В указывается текст, с которым мы будем работать и сама замена, с помощью регулярных выражений (PCRE)
- Изменена система обновлений. Теперь, для того, чтобы обновиться до последней версии с любой из версий граббера, начиная с 4.0 достаточно обновить файлы дистрибутива граббера (за исключением конфига) и запустить файл update.php.
- В настройках путей граббера теперь можно указывать переменную {root}, которая определяется автоматически и соответствует полному пути к грабберу на сервере. Таким образом, теперь не потребуется узнавать полный путь к грабберу на сервере, чтобы его установить или настроить
- Исправлены мелкие недоработки и недочёты прошлых версий
- указать текст, на котором будем проводить тест, например www.test.ru
- указать регулярное выражение, например #test.ru#i
- указать замену, на что мы хотим заменить найденные вхождения текста; если их требуется удалить, то это поле нужно оставить пустым
- нажать на кнопку «тестировать»
- в поле «» отобразится результат
Новая версия парсера контента FDE Grabber 5.3, читать далее...
Вышел в свет FDE Grabber 5.2
Доступна для покупки и скачивания новая версия граббера новостей FDE Grabber 5.2 Новые возможности системы импорта новостей:
- Улучшена система работы с изображениями — теперь парсер контента просчитывает все действия, которые будет совершать с картинками наперёд, что позволяет более экономно расходовать вычислительные ресурсы сервера.
- Возможность четырёхсторонней обрезки (кроппинга) исходных картинок для обрезки вотермарков
- При автоматическом определении кодировки статьи теперь принимаются во внимание не только данные, полученные из HTML тега <META>, но и отправляемый сервером заголовок Content-Type
- Улучшен интерфейс категорий источников, источников, а также сайтов — добавлены логические разделители
- При тестировании настроек категории источников теперь, если не указать категорию, а указать только адрес статьи, которая уже находится в списке полученных статей, то категория подставится автоматически
- В списке статей, в также при просмотре самих статей в парсере сайтов добавлены кнопки теста категории источников