FDE Grabber 5.8 - скачивание дополнительных файлов
Дорогие друзья, с радостью сообщаем о том, что доступна для покупки и скачивания новая версия граббера новостей FDE Grabber 5.8 Изменения, а также новые функции, вошедшие в новую версию парсера:
Изменение прав на необходимые файлы и папки из админцентра
В разделе «Утилиты» добавлена возможность, с помощью которой можно попытаться исправить неправильно выставленные права на необходимые файлы и папки:«Попытаться исправить неправильно выставленные права на нужные файлы и папки»
Если скрипты граббера запускаются от того же пользователя, которым были записаны на сервер файлы и папки парсера, то попытка исправления неправильно выставленных прав на файлы и папки увенчается успехом - в противном случае вам придётся выставить необходимые права вручную.
При проведении теста настроек сайта для публикации, FDE Grabber, в случае обнаружения неправильно выставленных прав на необходимые файлы и папки тоже пытается их исправить.
Скачивание прикреплённых к статьям файлов
В настройках граббера добавлено указание разрешённых для загрузки на сервер типов файлов (их расширений):
Следует отметить, что в данном списке указывать расширения файлов «jpeg«, «jpg«,»gif«, «png» не нужно — их граббер учитывает самостоятельно
В настройках категории источников добавлена галочка, включающая скачивание разрешённых в настройках типов файлов на сервер
Если её отметить, то при необходимости можно указать дополнительные опции:
Когда ссылки на скачивание файлов отображаются без расширений и невозможно заранее определить нужно ли скачивать файл по данной ссылке или нет, например https://test.com/download/36345783, то можно указать дополнительные шаблоны для распознавания ссылок на скачивание (в виде регулярных выражений), например: #/download/\d+#i
Для скачивания прикреплённых к новостям файлов создан кронтаб «crontab_downloads.php«, поэтому в разделе ручной крон появилась соответствующая кнопка:
Исправлены мелкие недочёты и недоработки прошлых версий
FDE Grabber 5.8 - скачивание дополнительных файлов, читать далее...
В сети появилась null версия FDE Grabber 5.7
Дорогие друзья, извещаем вас о том, что нам для изучения была прислана взломанная версия (nulled, cracked) программного продукта FDE Grabber 5.7, с которой незаконно была снята защита и добавлен троянский вредоносный код, после чего её "бесплатно" выложили на одном из «варезных» (warez, null) форумов.
Мы настоятельно рекомендуем воздержаться от скачивания подобных скриптов, в большинстве случаев они окажутся неработоспособными и со встроенными бекдорами и уязвимостями.
«Сэкономив» копейки на покупке лицензии и установив пиратскую копию можно причинить самому себе несоизмеримо больший по объёмам ущерб.
Подумайте, хотите ли вы устраивать из своего сервера, vps или хостингового аккаунта, за который платите реальные деньги площадку по рассылке спама (spam), осуществления DoS атак и других незаконных действий, которые будет осуществлять тот самый «Робин Гуд», подаривший вам взломанную версию скриптов, и постоянно переезжать с хостинга на хостинг за неизвестно откуда взявшуюся нагрузку на сервер, которую создаёт, всё тот же добрый «Робин Гуд», за действия которого будете расплачиваться и нести ответственность вы. Этот же "Робин Гуд" cможет выкрасть и плоды вашего труда.
Лицензия клиента (согласно действующему лицензионному соглашению), выложенная как пиратская nulled копия аннулирована и он лишился всех прав, доступных для наших клиентов.
В любом случае, если вам действительно необходимо использовать FDE Grabber, то его демократичная стоимость абсолютно никак не отразится на вашем финансовом благополучии, зато при покупке вы получите не только возможность бесплатных консультаций, возможность использования на 10 серверах*, список которых всегда можно изменить в личной панели управления на нашем сайте, но и пожизненные бесплатные обновления, конечно, при условии соблюдения лицензионного соглашения.
* в рамках одного сервера (IP адреса) можно запускать неограниченное число копий FDE Grabber
В сети появилась null версия FDE Grabber 5.7, читать далее...
Новая версия граббера сайтов FDE Grabber 5.7 с возможностью перевода на другие языки
Дорогие друзья, извещаем вас о том, что вышла новая версия граббера новостей FDE Grabber 5.7 Изменения, вошедшие в новую версию:
Добавлены хаки, позволяющие вести перевод новостей на другие языки:
- Немецко-русский переводчик [Яндекс.Перевод]
- Англо-русский переводчик [Яндекс.Перевод]
- Испанско-русский переводчик [Яндекс.Перевод]
- Французско-русский переводчик [Яндекс.Перевод]
- Итальянско-русский переводчик [Яндекс.Перевод]
- Украинско-русский переводчик [Яндекс.Перевод]
- Русско-немецкий переводчик [Яндекс.Перевод]
- Русско-английский переводчик [Яндекс.Перевод]
- Русско-испанский переводчик [Яндекс.Перевод]
- Русско-французский переводчик [Яндекс.Перевод]
- Русско-итальянский переводчик [Яндекс.Перевод]
- Русско-украинский переводчик [Яндекс.Перевод]
Пример новости без использования хака для перевода:
Пример новости с использованием хака для перевода:
Поскольку Google Translate API уже почти два года является платным решением, поэтому его использование мы даже не рассматривали.
В настройках параметров источника в граббере добавлена опция, позволяющая ограничивать количество получаемых новостей в указанный период времени:
Так, теперь у нас появляется возможность указать, что мы желаем получать с определённого источника, например, не более 30 новостей за 15 часов.
В настройках сайта в граббере, для большего удобства, список CMS теперь группируется по логическим блокам:
Новая версия граббера сайтов FDE Grabber 5.7 с возможностью перевода на другие языки, читать далее...
Вышла новая версия парсера новостей FDE Grabber 5.6
Дорогие друзья, извещаем о том, что доступна для скачивания и покупки новая версия системы импорта новостей FDE Grabber 5.6
Изменения и дополнения, коснувшиеся новой версии описаны ниже.
Любая статья, содержащая в ссылках хосты, не входящие в указанный список не будет сохранена граббером.
Все новости, адрес которых начинается с текста https://test.com/news/ парсер статей сохранит, а остальные, например адрес которых начинается с https://test.com/articles/ нет
Текст статьи с использованием хака:
Переработан и улучшен интерфейс редактора простых шаблонов:
Отрефакторен движок простого парсинга, теперь он позволят забыть о пробелах и переносах строк при составлении простого шаблона и привносит ряд удобных дополнительных возможностей:
- можно использовать новые переменные в шаблоне:
- {a} — соответствует ненужному тексту, соответствующему регулярному выражению ([^<>]*?)
- {d} — соответствует ненужному числу, соответствующему регулярному выражению (\d+)
- При указании в шаблоне простого парсинга переменной теперь можно указывать уточнения того, какой контент должен быть сохранён в данную переменную, с помощью регулярных выражений: {переменная[регулярное выражение]}.
- Пример 1: запись {description[[a-z\d\s\.]+]} означает, что в description может содержаться только текст, состоящий из латинских символов, цифр, пробельных символов и точки, иначе шаблон не подойдёт.
- Пример 2: запись {null[\d+]} соответствует ненужному контенту, состоящему из последовательности цифр, аналог {d}
- Пример 3: запись {null[[a-z]+]} соответствует ненужному контенту, состоящему из последовательности латинских символов (от регистра не зависит)
В настройках категории источником граббера добавлено указание списка разрешённых хостов в ссылках исходной статьи
Данная функция позволяет фильтровать новостные статьи и оставлять только авторские. Принцип её работы заключается в том, что когда в новостной статье содержатся ссылки на чужие сайты - с большой долей вероятности, она не является авторской. Пример: пусть, нам требуется импортировать какие-либо новостные статьи с какого-либо сайта, для определённости его адрес: https://www.test.com/. И нам нужны только авторские новости с этого сайта, а не перепечатанные, то есть в которых содержатся ссылки на третьи сайты-источники. В большинстве случаев авторские новости могут или вообще не содержать никаких ссылок или содержать ссылки на внутренние статьи, которые расположены в пределах хоста сайта-источника test.com или его поддоменов *.test.com, поэтому в настройках категории для осуществления фильтрации по данному принципу мы указываем список разрешённых хостов в ссылках исходной статьи: test.com, *.test.com
Любая статья, содержащая в ссылках хосты, не входящие в указанный список не будет сохранена граббером.
В настройках источника граббера теперь можно уточнить какие адреса ссылок на статьи нам нужны, с помощью регулярного выражения
Пример: пусть нам требуется распарсить источник, в котором ссылки на статьи имеют вид https://test.com/news/* и https://test.com/articles/*. И нас интересуют только те статьи, адреса которых начинаются с https://test.com/news/, поэтому в настройках источника граббера, мы можем указать соответствующее уточнение, с помощью регулярного выражения: # ^https://test\.com/news/#i
Все новости, адрес которых начинается с текста https://test.com/news/ парсер статей сохранит, а остальные, например адрес которых начинается с https://test.com/articles/ нет
В настройках категории источников парсера добавлены новые поля, отвечающие за название сайта источника и за его адрес
Эти поля используются при указании ссылок в статьях на сайт-источник:
Добавлен хак для указания ссылок на сайт-источник в первом абзаце текста статьи
Некоторые сайты позволяют перепечатку новостей, но при условии указания обратной ссылки, причём не где-либо, а именно не ниже первого абзаца статьи. Новый хак позволяет это сделать. Текст статьи без использования хака:
Текст статьи с использованием хака:
Вышла новая версия парсера новостей FDE Grabber 5.6, читать далее...
FDE Grabber 5.5 - возможность извещения о возникающих ошибках
Дорогие друзья, уведомляем вас о том,что вышла новая версия граббера новостей FDE Grabber 5.5 Изменения и дополнения:
- В разделе настроек парсера, во вкладке настройки файлов и картинок добавлено свойство «Максимальное количество символов в имени файла, без учёта префиксов и суффиксов«:
Новое свойство отвечает за количество символов, которое будет отводиться парсером под имена сохраняемых картинок и файлов:
Похожее свойство добавлено и при редактировании сайта, отвечающее за количество символов в адресах статей: (длину)
- Добавлена многоязычная универсальная таблица транслитерации, которая включает в себя в данный момент символы латинского алфавита и кириллицу
- В настройках граббера добавлена новая вкладка Почта, отвечающая за отправляемые через систему импорта новостей электронные письма:
- В настройках граббера добавлена вкладка Уведомление об ошибках, которая отвечает за извещение о возникающих при работе граббера ошибках
- Невозможность получить статью, согласно указанному шаблону парсинга в настройках категории источников
- Невозможность получить список статей, по указанному шаблону парсинга в настройках источника
FDE Grabber 5.5 - возможность извещения о возникающих ошибках, читать далее...
Парсер новостей FDE Grabber 5.4
С радостью извещаем о том, что доступна для покупки и скачивания новая версия граббера новостей FDE Grabber 5.4
Изменения, вошедшие в новый релиз:
Список временных зон переведён и доступен для всех поддерживаемых языков граббера: русский, английский, украинский. Для удобства пользователя список сгруппирован по континентам, а также рядом с названием каждой из зон указано смещение от Гринвича
- При настройке системы импорта новостей добавлен выбор часового пояса (временной зоны), в котором должен работать граббер:
Список временных зон переведён и доступен для всех поддерживаемых языков граббера: русский, английский, украинский. Для удобства пользователя список сгруппирован по континентам, а также рядом с названием каждой из зон указано смещение от Гринвича
- Добавлена поддержка публикации в форум XenForo (ссылка: https://xenforo.com/)
- Созданы новые хаки, позволяющие конвертировать HTML код в BB коды (BB codes). Конвертация работает не путём простой замены, а последовательности действий:
Хаки выбираются при настройке категории источников в граббере:Благодаря чему достигается наилучший результат.
- построение DOM дерева на основе HTML кода статьи
- произведение обратных преобразований, но не в HTML код, а в BB коды, на основе сопоставлений HTML дескрипторов (тегов), их стилей и атрибутов BB кодам
- При тестировании категорий источников, а также источников рядом с выбранным пунктом селектбокса теперь, для удобства пользователя, отображается ссылка, ведущая к настройкам записи:
- Исправлены мелкие недочёты и недоработки прошлых версий системы импорта новостей FDE Grabber
Новая версия парсера контента FDE Grabber 5.3
Дорогие друзья, извещаем о том, что доступна для тестирования, покупки и скачивания новая версия парсера контента FDE Grabber 5.3 Изменения, коснувшиеся новой версии:
- Добавлен модуль для проведения тестирования и отладки регулярных выражений. В указывается текст, с которым мы будем работать и сама замена, с помощью регулярных выражений (PCRE)
- Изменена система обновлений. Теперь, для того, чтобы обновиться до последней версии с любой из версий граббера, начиная с 4.0 достаточно обновить файлы дистрибутива граббера (за исключением конфига) и запустить файл update.php.
- В настройках путей граббера теперь можно указывать переменную {root}, которая определяется автоматически и соответствует полному пути к грабберу на сервере. Таким образом, теперь не потребуется узнавать полный путь к грабберу на сервере, чтобы его установить или настроить
- Исправлены мелкие недоработки и недочёты прошлых версий
Для тестирования регулярных выражений требуется
- указать текст, на котором будем проводить тест, например www.test.ru
- указать регулярное выражение, например #test.ru#i
- указать замену, на что мы хотим заменить найденные вхождения текста; если их требуется удалить, то это поле нужно оставить пустым
- нажать на кнопку «тестировать»
- в поле «» отобразится результат
Новая версия парсера контента FDE Grabber 5.3, читать далее...
Вышел в свет FDE Grabber 5.2
Доступна для покупки и скачивания новая версия граббера новостей FDE Grabber 5.2 Новые возможности системы импорта новостей:
- Улучшена система работы с изображениями — теперь парсер контента просчитывает все действия, которые будет совершать с картинками наперёд, что позволяет более экономно расходовать вычислительные ресурсы сервера.
- Возможность четырёхсторонней обрезки (кроппинга) исходных картинок для обрезки вотермарков
- При автоматическом определении кодировки статьи теперь принимаются во внимание не только данные, полученные из HTML тега <META>, но и отправляемый сервером заголовок Content-Type
- Улучшен интерфейс категорий источников, источников, а также сайтов — добавлены логические разделители
- При тестировании настроек категории источников теперь, если не указать категорию, а указать только адрес статьи, которая уже находится в списке полученных статей, то категория подставится автоматически
- В списке статей, в также при просмотре самих статей в парсере сайтов добавлены кнопки теста категории источников
Четырёхсторонняя обрезка картинок
В категории источников теперь можно указать по сколько пикселей должен обрезать FDE Grabber у каждой из сторон исходного изображения. Обрезку можно назначить только если изображение превышает указанные опорные размеры:
Обрезка картинок в краткой новости и полной настраивается отдельно.
Зачем нужна обрезка изображений
Когда сайт-донор добавляет на картинки вотермарки — небольшие картинки, наложенные на исходные, то это выглядит примерно следующим образом:
Граббер новостей с сайтов FDE Grabber 5.1
Дорогие друзья, извещаем вас о том. что доступна для скачивания и приобретения новая версия системы граббинга новостей FDE Grabber 5.1
Новые возможности и изменения:
- Новейший механизм работы с динамическими списками
Полностью переработана и улучшена система для работы с динамическими списками. Теперь каждый элемент списка выделяется чередующимся цветом (зебра).
При любом изменении порядка, добавлении, удалении нового элемента зебра автоматически перерисуется.
Добавлены кнопки для удаления элементов списка:
Введены области захвата элементов списка для последующего перетаскивания мышью на новое место, с целью изменения их сортировки:
- Добавлена поддержка импорта и сохранения изображений, внедрённых непосредственно в тело HTML документа
<img src="data:image/gif;base64,R0lGODdhMAAwAPAAAAAAAP///ywAAAAAMAAw AAAC8IyPqcvt3wCcDkiLc7C0qwyGHhSWpjQu5yqmCYsapyuvUUlvONmOZtfzgFz ByTB10QgxOR0TqBQejhRNzOfkVJ+5YiUqrXF5Y5lKh/DeuNcP5yLWGsEbtLiOSp a/TPg7JpJHxyendzWTBfX0cxOnKPjgBzi4diinWGdkF8kjdfnycQZXZeYGejmJl ZeGl9i2icVqaNVailT6F5iJ90m6mvuTS4OK05M0vDk0Q4XUtwvKOzrcd3iq9uis F81M1OIcR7lEewwcLp7tuNNkM3uNna3F2JQFo97Vriy/Xl4/f1cf5VWzXyym7PH hhx4dbgYKAAA7" alt="Good girl" />
- Добавлена поддержка импорта контента с сайтов, находящихся в доменах, содержащих символы национальных алфавитов
- Адреса, которые начинаются с // теперь автоматически воспринимаются как начинающиеся с https://
Парсер контента FDE Grabber 5.0
Доступна для скачивания и покупки очередная версия системы парсинга новостей FDE Grabber 5.0 Изменения и новые возможности:
- появилась система умного выравнивания картинок (в настройках категории источников)
- в настройках источников новостей добавлена опция, в зависимости от настроек которой краткую новость можно получить как из источника, так и из полной новости, путём обрезки по заданному количеству абзацев/символов/предложений
- в настройках категории источников добавлена опция указания вставки в атрибуты alt и title тегов изображений содержимого заголовка статьи (для лучшей SEO оптимизации)
- в настройках категории добавлена возможность для картинок указать отступы от текста по вертикали и горизонтали
- система подсказок для удобного и правильного указания кодировок сайтов
- система проверки настроек сайтов, в которые планируется публиковать полученные статьи
- система ограничения доступа по IP/подсетям
- система транзитных ключей, позволяющая повысить безопасность при удалённой публикации
Система умного выравнивания картинок
Система позволяет в зависимости от заданного опорного размера указывать разное выравнивание для кратких и полных новостей. Например: опорный размер указан как 300X300 (ширина 300 пикселей, высота 300 пикселей). При размере изображения меньше указанного размера мы можем указать выравнивание по левому краю, а при превышении заданного размера выравнивание поставить по центру. Таким образом получаемые новости будут смотреться гораздо лучше.
Возможность получать краткую новость как из источника так и путём обработки полной новости
При настройке источника можно выбрать то, как вы желаете получать краткую новость. По умолчанию она будет получаться из источника, но можно и переключить логику так, чтобы система импорта новостей получала её из полной новости. Кроме того, можно указать обрезку краткой новости по заданному количеству символов/параграфов/предложений. При любом типе обрезки система автоматически закрывает открытые HTML теги.
Система подсказок при настройке сайта
При указании кодировки сайта система сама предложит варианты правильных кодировок, что позволит избежать досадных ошибок при настройке сайта. При выборе кодировки, подсказанной системой все остальные поля кодировок заполнятся автоматически (если они были пустыми).
Возможность проверки настроек сайта до использования
Возможности ограничения доступа к системе по заданным IP адресам/подсетям
Значения указываются через пробел. Если необходимо указать подсеть, то используется звёздочка, например: 46.8.2.*
В случае попытки доступа к системе с IP, не входящего в список доступ будет запрещён.
Возможность повысить безопасность, используя транзитные ключи
При транзитной публикации теперь можно указать секретный ключ при настройке сайта:
И транзитный ключ при настройке самого граббера:
В конфиге граббера config/dynamic.php параметр, отвечающий за транзитный ключ называется TRANSIT_KEY
В случае, если ключи, указанные в настройках сайта и в настройках транзитной системы граббера не совпадут, то доступ к публикации будет заблокирован.
При использовании граббера теперь необходимо обязательно сменить дефолтный пароль, иначе система откажется работать.