Новая версия парсера статей FDE Grabber 7.7
Дорогие друзья, извещаем о том, что доступен для покупки, скачивания и тестирования парсер новостей FDE Grabber 7.7 В новую версию вошли следующие изменения и дополнения:
- Улучшен встроенный синонимайзер - теперь можно указывать не только слова по отдельности, но и целые фразы, включая знаки пунктуации.
- Значительно улучшена точность системы автоматического распознавания категорий (рубрик), к которым относится данный текст по набору указанных ключевых слов;
- Добавлена поддержка публикации через xml-rpc для сайтов, работающих ТОЛЬКО по безопасному протоколу https (например wordpress.com)
- Оптимизировано поведение парсера новостей при неоднозначных настройках, например, если в настройках категории источников получение краткой новости указано из полной, путём обрезки, а картинка есть только в исходной краткой (а в полной новости её нет), то граббер, теперь всё равно получит картинку.
- Добавлен хак, который обеспечивает корректировку заглавных букв. Так, если в результате каких-либо произведённых замен, корректировок или просто ошибки на сайте-источнике слова в предложениях начинаются не с заглавных букв, то применив данный хак можно это исправить.
Исправлены все найденные недочёты и недоработки прошлых версий.
Вышла новая версия парсера новостей FDE Grabber 7.7, читать далее...
Доступна новая версия граббера новостей FDE Grabber 7.6
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия парсера новостей FDE Grabber 7.6
В новой версии системы импорта новостей добавлена совместимость с новой версией интерпретатора PHP - PHP 7
Промо-акция
Дорогие друзья, извещаем о том, что в период с 25 октября 2014 года по 15 января 2015 года, в рамках нашей промо-акции, стоимость лицензии на использование системы импорта новостей FDE Grabber будет составлять 55.5 USD. При покупке нашей системы в данный период вы можете сэкономить 33.3 USD:
Текущая стоимость: 88.8 USD Стоимость в период промо акции: 55.5 USD Экономия: 88.8 USD - 55.5 USD = 33.3 USDНе упустите свой шанс приобрести полноценную лицензию на качественный продукт по выгодной цене!
FDE Grabber 7.5 — мы экономим ваше время
Доступна новая версия граббера новостей FDE Grabber 7.4
Добавлен новый модуль для работы с тегами
В граббере появился новый раздел для работы с тегами, которые могут сопоставляться с той или иной новостью. При добавлении тега можно указать его название, список ключевых слов, по которым новости будут сопоставляться с данным тегом, а также возможность использования стеммера Портера (что позволяет не склонять ключевые слова), а также сайт, для которого этот тег будет доступен: Например, если указать набор ключевых слов:Ай-Петри, Алупка, Алушта, Армянск, Балаклава, Бахчисарай, Веселое, Гаспра, Гурзуф, Джанкой, Евпатория, Инкерман, Керчь, Клепинино, Коктебель, Кореиз, Красноперекопск, Ленино, Массандра, Мискхор, Нижнегорский, Орджоникидзе, Партенит, Раздольное, Саки, Севастополь, Симеиз, Симферополь, Старый Крым, Судак, Феодосия, Форос, Черноморское, Щёлкино, Ялта, Крыми озаглавить его под общим тегом «Крым», то данный тег будет сопоставляться с новостями, в которых содержатся данные ключевые слова.
Добавлен новый модуль для работы с ключевыми словами
Кроме того, в новой версии парсера контента добавлен раздел, полностью аналогичный модулю для работы с тегами, только ориентированный на работу с ключевыми словами, которые могут указываться в метатеге статьи:<meta name=»keywords» content=»Новости, события, вести, …»>Отметим, что возможность указания ключевых слов доступна не во всех CMS/способах публикации, с которыми работает граббер, а лишь некоторых, например компонент для Joomla K2, Instant CMS, DataLife Engine и т,д.
При работе с сайтом теперь можно указать способ, по которому должны получаться теги и ключевые слова
Ранее граббер мог получать теги/ключевые слова, сопоставляющиеся с данной новостью только путём разбиения её заголовка на слова, например если заголовок выглядел так «В Крыму проведут перепись населения«, то ключевые слова/теги, которые он получал выглядели, как «Крыму«, «проведут«, «перепись«, «населения«, но теперь появилась возможность задействовать модули для работы с тегами и ключевыми словами и получать их более точно и гибко: Парсер контента теперь может получать теги и ключевые слова как из заголовка, так и из подготовленных заблаговременно записей через модули для работы с тегами и ключевыми словами, а также путём комбинирования данных способов.Исправлены недочёты и недоработки прошлых версий системы импорта новостей
Доступна новая версия граббера новостей FDE Grabber 7.4, читать далее...
Доступна новая версия граббера новостей - FDE Grabber 7.3
Дорогие друзья, извещаем о том, что доступна для покупки, скачивания и тестирования новая версия граббера новостей FDE Grabber 7.3 В новой версии парсера статей была добавлена возможность при тестировании настроек категорий, источников (RSS/Atom, HTML), а также при пинге фидов указывать то, через какой именно прокси-сервер должны проводиться тесты, а также от имени какого сетевого интерфейса или через какой IP адрес требуется провести тестирование: Таким образом, если необходимо убедиться, что контент новости получается через тот или иной прокси-сервер и/или IP адрес, то можно указать их явно во время проведения теста. Во время проведении визуального теста с показом картинок — картинки также получаются и показываются с учётом указанных настроек, а также с учётом полученных на первом этапе кукисов и заголовков. В настройках категорий источников добавлена возможность указания получения картинки-иллюстрации из метатегов (в случае полного отсутствия картинок в теле статьи): Таким образом, если в полученном контенте не найдено ни одной картинки, то при активации данной опции парсер новостей попытается получить картинку-иллюстрацию из метатегов, вида:
Заметим, что парсер и ранее получал картинки из метатегов, но делал это без спроса — теперь же это можно включить или отключить в настройках выбранной категории источников. В новой версии граббера новостей исправлено множество недочётов и недоработок прошлых версий, оптимизирован функционал и увеличено быстродействие.<meta property="og:image" content="https://www.com.com/0063_11.jpg" /><meta property="twitter:image" content="https://www.com.com/0063_11.jpg" /><link rel="image_src" type="image/jpeg" href="https://www.com.com/0063_1" />
Доступна новая версия граббера новостей - FDE Grabber 7.3, читать далее...
Доступна новая версия граббера новостей FDE Grabber 7.2
- поддержка новых тегов при составлении шаблонов для граббера (как при настройке категорий источников, так и при настройке источников)
- поддержка новой версии системы управления сообществами InstantCMS 2.x.
Поддержка новых тегов при составлении шаблонов для граббера
При составлении шаблонов теперь имеется возможность наряду со старым способом выделения в шаблоне полезного контента сделать это и новым способом. Рассмотрим простой пример. Допустим определённый нами шаблон имеет вид: Здесь видно, что полезный контент будет собираться в тег {description}Но что, если нам требуется производить захват и обрамляющего дескриптора <div id=»pageContent»>…</div>?- для таких случаев мы предусмотрели новый способ указания шаблонов с помощью обрамляющих парных тегов, например {x_description}…{/x_description}: Мы видим, что в полученном с помощью данного шаблона контенте будут содержаться и обрамляющие дескрипторы: <div id=»pageContent»>…</div> Там, где содержимое изменяется произвольно и оно нам не нужно, мы указали тег {null}
Поддержка InstantCMS 2.x
При добавлении сайта в парсер новостей теперь можно выбрать несколько типов публикации, связанных с новой версией InstantCMS 2.x: Сейчас доступны такие типы публикации:- публикация в раздел блогов
- публикация в раздел новостей
- публикация в раздел со статьями
Доступна новая версия граббера новостей FDE Grabber 7.2, читать далее...
FDE Grabber 7.1 — работа с разных IPv4 адресов
Работа с разных IPv4 адресов/сетевых интерфейсов
В настройках системы импорта новостей добавлено указание списка IP адресов или имён сетевых интерфейсов, разделённых через запятую, через которые будет работать парсер (через них будут производиться внешние запросы к сайтам). Если ваш сервер имеет несколько выделенных IP адресов, то можно указать их в настройках системы импорта новостей, и она будет вести запросы через них по очереди.Возможность явного указания IP адреса, через который должна вестись проверка лицензии системы импорта новостей FDE Grabber
В настройках граббера новостей теперь имеется возможность указать явно IP адрес или имя сетевого интерфейса через который будет вестись проверка лицензии. Это может понадобиться, когда ваш сервер имеет несколько выделенных IPv4 адресов или сетевых карт.Путь к директории с кешем парсера новостей вынесен в конфиг
Для более гибкой настройки парсера статей путь к папке кеша теперь можно указать/изменить в параметрах системы (Настройки -> вкладка "Файлы и картинки" -> "Путь к папке для кеша"). Это необходимо в случае, когда нужно указать произвольный путь к папкам, например, если администратор хочет оптимизировать и ускорить работу путём использования RAM дисков (дисков, которые работают в оперативной памяти компьютера), что, несомненно может значительно повлиять и повысить производительность сервера. На Unix/Linux системах можно использовать tmpfs, рекомендуемые статьи по теме: Использование tmpfs в MySQL, Using tmpfs for /tmp. На Windows системах можно воспользоваться программой RAMDisk от компании Dataram (диски, объёмом до 4 ГБ можно создать бесплатно).Возможность экспорта/импорта настроек сайтов с помощью датафайлов
Данная функция полностью аналогична уже полюбившейся многими нашими пользователями возможности экспорта/импорта параметров, которая есть в настройках источников и настройках категорий источников.Исправлены недочёты и недоработки прошлых версий
FDE Grabber 7.1 — работа с разных IPv4 адресов, читать далее...
Новая версия граббера новостей FDE Grabber 7.0
Добавлена возможность работы со списком юзер-агентов (User Agent), от имени которых парсер новостей обращается к сайтам-источникам .
Для этого в системе создан новый раздел Юзер-агенты: В данном модуле можно добавлять/редактировать/удалять юзер-агенты, а также изменить их статус. Кроме того, в новом модуле доступны функции массового изменения активности и добавления списка юзер-агентов, разделённых через перенос строки.В разделе «Фейковых пользователей» добавлена возможность импорта списка имён пользователей, разделённых, через перенос строки:
Если, например, требуется добавить сразу несколько новых пользователей, то достаточно указать их имена, через перенос строки:При редактировании категории источников граббера добавлено указание имени юзер-агента, с которым граббер будет обращаться к сайту-источнику:
Если поле оставить пустым, то парсер случайно выберет один из активных юзер-агентов из раздела «Юзер-агенты» и будет работать от данного имени.Оптимизирован функционал, увеличена скорость работы, исправлены недочёты и недоработки прошлых версий.
Новая версия граббера новостей FDE Grabber 7.0, читать далее...
Вышла новая версия граббера - FDE Grabber 6.9
Дорогие друзья, сообщаем о том, что доступна для покупки и обновления новая версия граббера новостей FDE Grabber 6.9 В новой версии добавлена возможность обновления тех статей, которые уже были опубликованы. Так, если например некоторая статья была получена и опубликована, то можно настроить систему импорта новостей так, чтобы проверялось не обновилась ли данная статья на сайте-источнике и если обновилась, то заново её получать и обновлять. Для этого, в настройках категории граббера добавлены две дополнительные опции:
- Обновлять статьи при обновлении источников
Проверка обновления статей при обновлении источников
Если при обновлении источника, для статьи, которая была уже опубликована, изменился заголовок или краткое содержание, то статья будет считаться изменившейся и парсер попытается её заново получить и обновить на вашем сайте. В случае успешного парсинга он её заново опубликует, но при этом не будет создавать новую запись, а обновит старую. Все сопутствующие файлы и картинки также обновятся.Дополнительная проверка обновления статей на изменение полного содержания
Если в текущий момент нет заданий на получение новых статей, то система импорта новостей перейдёт в режим обновления старых (если это требуется). В настройках категории источников указываются дополнительные данные: «Период обновления, в часах» — это промежуток времени, на протяжении которого, с момента после публикации, статья будет проверяться граббером на обновление; «» — это промежуток времени, через который парсер новостей будет проверять, не обновилась ли данная статья. В данный момент обновление статей работает для следующих типов публикации: DLE (Data Life Engine), NGCMS, WordPress (кроме публикации через протокол XML-RPC), Joomla, а также публикация в компонент K2, E107, Drupal, Danneo, Slaed, InstantCMS, FDE CMS Кроме того, исправлены мелкие недочёты и недоработки прошлых версий.Вышла новая версия граббера - FDE Grabber 6.9, читать далее...