Продам A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser support]

1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок

Улучшения

• Добавлен новый парсер
  
  Cloudflare::Radar, определяет категории доменов
• В парсеры
  
  Util::ReCaptcha2,
  
  Util::ReCaptcha3,
  
  Util::hCaptcha добавлена поддержка сервиса CaptchaAI
• В
  
  Rank::Ahrefs добавлен сбор рейтинга страницы (URL rating)
• Обновлен список языков в
  
  DeepL::Translator

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Яндекс
• Исправлен сбор totalcount в
  
  SE::Yandex для некоторых запросов
• Исправлен выбор региона в
  
  SE::Yandex:: Direct
• Исправлена работа
  
  Rank::Ahrefs::KeywordGenerator c Country - United Kingdom
• В
  
  Shop::Yandex::Market по некоторым запросам не было результатов
• 
  SE::Google::Images,
  
  Rank::Ahrefs::KeywordGenerator,
  
  Shop::Yandex::Market

Исправления

• Исправлено лишнее использование сессии на последней попытке в
  
  SE::Google
• Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
• Исправлена ошибка в
  
  Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
• Исправлен баг в
  
  SE::Yandex:: Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
• Исправлена проблема в Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
• В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
• Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

 

[A-Parser support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг базы фильмов из IMDB
Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

Парсер профиля YouTube
Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

Парсинг istio.com
Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

Оценка страниц с использованием Lighthouse
Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser support]

Видео урок: Сбор форм комментариев с помощью A-Parser

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.

Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser support]

Обновленные пресеты в каталоге A-Parser ч.2

Парсинг количества трафика на сайтах
Данный парсер позволяет собирать данные о посещаемости сайтов за день, неделю, месяц, тесты, параметры домена, техническое состояние, внутреннюю оптимизацию.

Сохранение в результатах TOP-3 Google
Пресет сохраняет первые ТОП-3 сниппета выдачи Google.

Парсер Яндекс Кью
Парсер собирает список вопросов по запросам и ответы к ним. Для каждого вопроса, кроме ответа, собираются данные о рейтинге, дате публикации, авторе, просмотрам и т.д.

JS::MailValidator
Проверка существования e-mail адресов. Поддерживаются 9 почтовых сервисов: Gmail, Outlook, Yandex, Rambler, Yahoo, Mail.ru, GMX, AOL, iCloud


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser support]

1.2.1770 - 3 новых парсера, адаптация существующих парсеров к изменениям, исправления ошибок

Улучшения

• Добавлены новые парсеры:
  • 
    Rank::Ahrefs::BrokenLinks - сбор кол-ва и списка (топ10) битых входящих и исходящих ссылок
  • 
    Rank::Ahrefs::TrafficChecker - оценка трафика, сбор истории трафика и списков ключевых слов, страниц и стран с наибольшим трафиком
    
  • 
    SE::Quora - парсинг поисковой выдачи Quora по ключевому слову с возможностью выбирать тип и время результата
• Обновлен список регионов в парсерах Яндекс, убраны регионы, на которых поиск больше невозможен. В частности из-за того, что по-умолчанию был выбран регион Россия, парсер работал очень плохо, почти постоянно получая каптчи, т.к. данный регион больше не доступен для выбора в Яндексе. Также оптимизирован поиск региона при выборе в combobox.
• Улучшена обработка Node-модулей (в некоторых случаях использовалась неверная версия)
  
• JS парсеры: this.logger.put и this.logger.debug форматируют вывод аналогично console.log, благодаря чему теперь выводить объекты можно без использования JSON.stringify

Исправления в связи с изменениями в выдаче

• Исправлен парсинг PAA в
  
  SE::Google
• В
  
  SE::Google::Cache исправлена ошибка, из-за которой отсутствовали результаты по некоторым запросам
• Исправлен
  
  GooglePlay::Apps, изменен набор собираемых данных
• Исправлена работа
  
  Net::Whois с доменной зоной .fr
• В
  
  SE::Yandex::SQI убраны переменные $user_choice и $popular, т.к. эти данные больше не отдаются
• 
  Check::RosKomNadzor,
  
  Shop::Wildberries:roductsList,
  
  Shop::Wildberries:roductInfo,
  
  Rank::Ahrefs,
  
  Rank::Ahrefs::KeywordDifficulty,
  
  SE::Google::Images,
  
  Rank::MajesticSEO

Исправления

• В
  
  SE::Yandex исправлена ошибка с определением бана на мобильной верстке
• В
  
  SE::Google::Translate теперь headless включен по-умолчанию
• Исправлена проблема с русскоязычными именами файлов в функции Запустить по завершению

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

 

[A-Parser support]

Видео урок: Ищем продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показано, как искать продвигаемые ссылки в отчётах Xrumer c помощью парсера

Check::BackLink

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser support]

1.2.1794 - поддержка Cloudflare Turnstile, множество исправлений во встроенных парсерах

Улучшения

• Добавлен парсер для разгадывания каптч Cloudflare
  
  Util::Turnstile
• Добавлен парсер для отправки сайтмапов в Google
  
  SE::Google::SitemapPing
  
• В парсеры
  
  Util::ReCaptcha2,
  
  Util::ReCaptcha3,
  
  Util::hCaptcha добавлена поддержка сервиса captchas.io
• В
  
  Rank::CMS добавлена возможность выводить $response
• В
  
  Cloudflare::Radar добавлена возможность выводить raw data

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в парсерах Яндекс
• Исправлена работа
  
  SE::Google::TrustCheck для мобильной выдачи
• Исправлена работа с каптчами в парсерах Ahrefs
• Исправлен парсинг сниппетов в
  
  SE::Seznam
• Исправлен парсинг related keywords в
  
  SE::Baidu и
  
  SE::Bing
• Исправлен парсинг totalcount в
  
  SE::Yahoo
• Исправлена работа
  
  Check::RosKomNadzor при выборе одного из доменов
• 
  SE::Google,
  
  SE::Yandex,
  
  SE::Google::Images,
  
  SE::Google::ByImage, SE::Bing::Translator, Cloudflare::Radar, Shop::Amazon, Shop::eBay, SE:: Dogpile::Images

Исправления

• Исправлена работа SE::Yandex::ByImage с запросами, содержащими символы кириллицы

 

[A-Parser support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг Авито
Парсер площадки объявлении Авито.

• Исправлена работа в связи с изменениями на источнике

Парсер prom.ua
Парсер маркетплейса prom.ua. Позволяет собирать данные из объявлений, включая имена продавцов и номера телефонов.

• Исправлен проход по пагинации и сбор данных со страниц объявлений

Парсер отзывов Wildberries Reviews
Парсер отзывов Wildberries Reviews. Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Исправлена работа парсера

Парсинг ресурса Booking.com
Парсинг ресурса Booking.com, получение результатов поиска квартир и отелей на сайте.

• Поправлены регулярные выражения
• Добавлена возможность задавать нужную валюту

Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram
Парсер, который позволяет проверять изменения на разных страницах и получать уведомления в Telegram

• Парсер переписан на JS APIv2
• Добавлена возможность проверять значения в заголовках

Парсинг объявлений из olx.ua/olx.pl
Парсер международной площадки объявлений OLX. Позволяет собирать данные из объявлений, включая цены, имена авторов, телефоны, адреса и т.д.

• Реализована автономность в работе с доменными зонами
• Адаптация к изменениям на источнике (включая восстановление возможности сбора телефонов)

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser support]

Кейсы с использованием A-Parser от Ant-Team.ru

Представляем вашему вниманию несколько кейсов от Ant-Team.ru в которых был использован A-Parser.

Что влияет на позиции сайта в Google? Кейс по работе с PBN: растем в 3 раза по трафику и на 345% по позициям

Статья посвящена опыту продвижения сайта в поисковой системе Google работая с PBN (Private Blog Network). В статье представлена детальная инструкция, рассмотрены трудозатраты и показаны скриншоты по позициям и трафику. Также пошагово описан подход к работе со ссылками, показано как собиралась сетка PBN и какие результаты это принесло.

Понятно, что они пишут в большей степени клиентские кейсы, где технической стороне уделяется не так много внимания. Но всё, что они сделали, основано на А-Парсере. Все дропы, которые они собирают, проверяют и агрегируют у себя в базе для последующей обработки, они получают с помощью нашего парсера.

Рекомендуем ознакомиться со статьей и понять, каких результатов можно достичь, используя A-Parser.


ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов

Еще один интересный кейс, но уже не по аукционникам, а по реальным дропам, которые можно найти с помощью A-Parser.

Здесь описывается опыт работы с PBN и приводятся советы по использованию этого инструмента для создания качественных обратных ссылок на сайт. Также рассказывается о том, как автор использовал подклейку доменов для улучшения авторитета своего сайта и приводятся советы по выбору подходящих доменов. Кроме того приведены примеры использования A-Parser для автоматизации поиска доменов. А-Parser собирает все внешние ссылки с указанного домена и используется для массовой проверки доступности доменов и получения информации о них.

В статье, как обычно, минимум технической информации, но они активно отвечают на вопросы в комментариях. Если интересно, то спрашивайте, как искать подобные дропы и что для этого нужно. А зачем вообще это делать? Ответ очевиден: взять топ Гугла за 35 дней способен не каждый.

Если вы занимаетесь продвижением сайтов и хотите узнать больше о PBN и подклейке доменов, мы рекомендуем вам прочитать данную статью.

 

[A-Parser support]

1.2.1848 - 2 новых парсера, множество улучшений и исправлений во встроенных парсерах

Улучшения

• Добавлены новые парсеры:
  • 
    SE::YouTube::Video - позволяет парсить данные о видео на Youtube (включая субтитры)
  • 
    Rank::BingAnalytics - парсер данных из аналитики Bing в боковой панели Edge
• В связи с неактуальностью удалены следующие парсеры: Rank::Alexa, Rank::Alexa::API, SE::MailRu, SE::MailRu:: Position
  
• Исправлен парсинг вопросов-ответов (PAA) в
  
  SE::Google
• Улучшена обработка 404-го кода ответа в
  
  Rank::KeysSo
• В
  
  Rank::Ahrefs::KeywordDifficulty в переменные добавлен shortage
  
• В
  
  Util::Turnstile добавлен провайдер CapSolver
• Во всех парсерах Ahrefs добавлена опция Turnstile pass proxy, подробнее здесь
  
• В парсерах Bukvarix добавлена возможность использовать свой API ключ, дополнительная информация здесь
  
• В
  
  Maps::Google добавлена возможность получать ссылку на "Я владелец компании"
  
• В
  
  SE::Google::KeywordPlanner добавлена возможность парсить тренды поисковых объёмов, дополнительная информация здесь
  
• Обновлен список языков в
  
  DeepL::Translator
• В
  
  Social::Instagram:: Profile добавлена возможность парсить с авторизацией
• Улучшено определение наличия кеша в
  
  SE::Google::Cache
  
• В
  
  Net::Whois добавлен новый метод обработки результатов для некоторых доменных зон
• Продолжается миграция встроенных парсеров на JS APIv2, в этом релизе переписано 10 парсеров

Исправления в связи с изменениями в выдаче

• Исправлена работа
  
  SE::Yandex::Register через Chrome, дополнительная информация здесь
• В
  
  SE::Google не собирались результаты при типе News, также исправлено получение $totalcount при отсутствии результатов
• Исправлена работа
  
  SE::Yandex:: Position при выборе Search sites from (rstr=)
• В
  
  Shop::Yandex::Market исправлен парсинг цен
• Исправлены и адаптирован к изменениям на источниках: SE::Google, SE::Yandex::SQI, Rank::KeysSo, Cloudflare::Radar, SE::Quora, SE::Yandex::Translate, Shop::AliExpress, SE::Startpage, Rank::Ahrefs

Исправления

• Исправлено зависание задания во время повторного запуска
  
• Исправлена ошибка с отправкой сообщения о неверно разгаданной каптчи в Util::AntiGate
• В CoinMarketCap::LastPrice был пустой $data
• Rank::Ahrefs::KeywordGenerator не переходил к решению каптчи при определенном формате результата
  
• Исправлена ошибка в SE::Yandex:: Direct::Frequency, из-за которой при использовании аккаунтов все запросы были неудачные
• Исправлен SEO:: Ping
• Исправлено декодирование сущностей в Rank::MOZ
• JS парсеры: исправлен this.utils.urlFromHTML(), не все сущности корректно декодировались

Артур Корсаков запускает мастер-группу по Техническому SEO​

Курс состоит из 3х частей:

• Блок 1
  • Технический аудит сайта,
  • Исследование кода Яндекса,
  • Скрытие ссылок от различных сервисов,
  • Клоакинг для серых ниш.
• Блок 2
  • Парсинг структуры конкурентов,
  • Работа с Chat GPT,
  • Работа с релевантностью.
• Блок 3
  • Настройка программы A-Parser,
  • Создание собственных пресетов,
  • Парсинг тематических дропов с ссылками из Википедии,
  • Работа с ссылочным профилем.

Тем, кто присоединится до пятницы, 31 марта (включительно), получат доступ до июля к эксклюзивной бета-версии закрытого инструмента ГАР (Гибридный анализ релевантности).

В которую уже входят следующие функции:

• Анализ на основе формулы SWBM25 (хитрый BM25 в скользящем окне),
• Рекомендации по микроразметке,
• Семантические Коконы.

Старт планируется 3 апреля!

Подробности по ссылке:
Мастер-группа по Техническому SEO

Чтобы присоединиться нужно написать лично Артуру по любому из контактов:
Обо мне - 𝗮𝙧𝙩𝙪𝙧𝟮𝗸 SEO

 

[A-Parser support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг поиска ВК
Сбор результатов поиска в социальной сети Вконтакте.

• Добавлен Check content
• Адаптация к изменениям на источнике

Получение списка пользователей, которые поставили у заданного объекта отметку «Нравится» в VK
Парсер для парсинга списка пользователей, которые лайкнули пост во Вконтакте.

• Переделан в JS парсер
• Адаптация к изменениям на источнике
• Поддержка фото и видео
• Поддержка API: вместо куки remixstid теперь следует использовать ваш ключ доступа (access_token)
• Мелкие правки

Подсказки pornhub
Парсер подсказок сайта для взрослых pornhub.com

• Переделан в JS парсер
• Адаптация к изменениям на источнике

Парсер Яндекс Кью
Парсер для сервиса Яндекс Кью, позволяющий собрать списки вопросов и ответов к ним

• Добавлен парсинг страницы ответов
• Адаптация к изменениям на источнике
• Рефакторинг

JS::Chrome::ScreenshotsMaker
Парсер для создания скриншотов сайтов с использованием puppeteer(Chrome)

• Поддержка pdf формата (возможность сохранять страницы в PDF)

Фильтрация по множеству признаков
Пример фильтрации страниц по большому количеству признаков

• Парсер переписан на JS APIv2
• Исправлен баг с дублированием сигнатур

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser support]

Сборник рецептов #54: Google Shopping, Циан и парсер новостей с автоматическим переводом

54-й сборник рецептов, в котором представлены парсер Google Shopping, парсер базы недвижимости Циан и парсер новостей с автоматическим переводом контента на указанный язык.

Google Products
Парсер товаров по ключевым словам из выдачи Google Shopping

Парсер Циан
Парсер результатов поиска (с возможностью задать любые фильтры) на cian.ru

Парсер новостей inshorts.com с переводом контента
Парсер новостей inshorts.com с переводом контента через переводчик Deepl

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser support]

1.2.1886 - обновление компонентов, новые возможности в работе с аккаунтами Яндекса, фиксы парсеров

Улучшения

• Обновление NodeJS до 18.15, Puppeteer до версии 19.11.0 и Chrome до 112-й версии
• Добавлен обход CloudFlare в
  
  Net::HTTP при Engine = Chrome
• Добавлены новые возможности в работе с аккаунтами Яндекса:
  • 
    SE::Yandex::Register теперь сохраняет использованный прокси и ответ на секретный вопрос
  • 
    SE::Yandex::WordStat использует для логина сохраненный прокси и умеет при необходимости отвечать на секретный вопрос
• В
  
  SE::Yandex добавлена возможность указывать id региона в обход существующего списка
• Улучшена работа
  
  Net:NS, добавлена совместимость с некоторыми серверами
• Улучшен парсинг анкоров беклинков в
  
  Rank::Ahrefs

Исправления в связи с изменениями в выдаче

• 
  SE::Google - адаптация к изменениям в верстке
• Исправлена работа с каптчами в
  
  SE::Yandex и
  
  SE::Yandex::WordStat
• Исправлена работа
  
  Shop::Yandex::Market при запросах в виде ссылки
• Исправлен парсинг фото в
  
  Shop::Wildberries:roductInfo
• Исправлена ошибка при обработке каптчи в
  
  SE::Yandex::ByImage
• SE::Yandex, SE::Bing, SE::Seznam, SE::Baidu, SE::Google::Images, Rank::KeysSo, Rank::MajesticSEO, Rank::Ahrefs::KeywordDifficulty, Maps::Yandex, Shop::Wildberries:roductInfo, SE::Yandex::ByImage

Исправления

• Исправлено использование переменных из Конструктора запросов в Начальном тексте
• Исправлена работа
  
  Net::Whois с доменами зоны .it, а также исправлено определение незарегистрированных доменов
• В
  
  SE::Yandex::WordStat исправлена ошибка, из-за которой парсер повторно не авторизовался

 

[A-Parser support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг данных о Youtube канале
Парсер собирающий информацию со страницы о канале, кроме email который виден после авторизации. Так же собирает email из описания канала.

• Добавлено: парсинг ника канала, который начинается на @, кол-во видео

Парсер Google Places
Получение результатов поиска на Google Places

• Переписан на TypeScript
• Адаптация к изменениям на источнике

Парсинг Авито
Парсинг объявлений на avito.ru

• Запрос для получения номера теперь отправляется только в том случае, если в формате результата задан вывод номера

Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com

• Переписан на TypeScript
• Добавлена поддержка разгадывания капчи - опция Util::ReCaptcha2 preset. Разгадывание капчи теперь обязательно
• Добавлена опция Currency с значением по умолчанию EUR
• Полностью переработаны собираемые результаты, они немного отличаются от предыдущих и их стало больше

Парсинг пользователей из группы ВК
Парсинг всех пользователей из любой группы Вконтакте через API

• Адаптация к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser support]

Сборник рецептов #55: сокращатель ссылок и парсер сервиса статистики и аналитики HypeStat

55-й сборник рецептов, в котором представлены парсер для сокращения ссылок с возможностью выбрать из 6-ти сервисов сокращения и парсер HypeStat - бесплатного сервиса статистики и аналитики.

Сокращатель ссылок
Данный парсер позволяет массово сокращать ссылки. На данный момент поддерживается 6 сервисов сокращения, можно выбрать любой из них, а также присутствует режим случайного выбора.

Парсер HypeStat
HypeStat - это бесплатный сервис статистики и аналитики, где вы можете найти информацию о каждом веб-сайте. Данный парсер собирает следующие данные: Technologies Summary, Traffic Summary, Traffic Sources, Competitive Data (SEMrush), Reputation Ratings (MyWot.com), DNS Lookup, Whois Lookup.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов