Использование Human Emulator для сбора данных

Часто в процессе сбора данных, одного запроса урла через CURL недостаточно, например нужна авторизация с поддержкой флэша, данные появляются на странице через JS или еще либо как-то. Для этого существуют программы, которые позволяют автоматизировать браузер. (Эммуляторы и Автоматизаторы браузера) Т.е по сути они предоставляют возможность управления браузером посредством скриптов. Я остановлюсь на одной из них более подробно. Итак Human Emulator — система для веб автоматизации.

скриншот работы хуман эмулятора в режиме сбора ключевых слов

Human Emulator в работе по сбору ключевых слов

Описание программы Human Emulator (основное) :

  • программа представлена в виде интегрированной среды для разработчика (IDE)
  • решаемые задачи очень многогранны, фактически все что можно сделать в браузере все делается программой
  • язык на котором пишутся скрипты, управляющие работой браузера — PHP
  • в программе имеется встроенный редактор записи скрипов, упрощающий решения автоматизации
  • есть средства позволяющие просматривать элементы страницы и их свойства в виде различных представлений  (Дерево, Инспектор, Список и т.д)
  • есть панель отладки с возможностью просмотра всей необходимой информации в том числе и RAW обмен браузера
  • есть возможность открывать несколько браузеров а также менять их модели (IE от 6 до 11)
  • имеются средства облегчающие навигацию как в любом браузере (Панель Навигации, Фавориты, История и т.д)
  • возможность многозадачного выполнения скриптов (т.е запуск нескольких экземпляров программы, каждый со своей задачей)

Как видим Human Emulator для решения наших задач сбора — просто идеальное решение . Есть много мест в инете, откуда надо собрать информацию (например по тем же поисковым запросам) без эмуляции в браузере ну никак нельзя. Например

В следующих статьях я напишу скрипты, что собирают ключевые слова и данные о посещаемости с этих источников. А пока напомню где скачать базы Поисковых запросов и получить списки ключевых слов, если кого интересует этот вопрос.

 

Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники
Опубликовать в Яндекс
Опубликовано в Human Emulator, Общая информация Метки: , , , ,

Добавить комментарий

Декабрь 2017
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 123
45678910
11121314151617
18192021222324
25262728293031