Human Emulator и объекты для работы с Интернетом

В этой статье я опишу какие возможности есть у Хуман Эмулятора для работы с Интернетом. За это отвечает категория PHP объектов, называемая WEB. Условно поделю их на несколько подкатегорий:

скриншот хелпа по категории WEB для XWeb Human Emulator

скриншот хелпа по категории WEB для XWeb Human Emulator

Объекты для работы с браузером и веб-страницей

  • browser – управление встроенным браузером. Это основной объект для эмуляции работы в браузере. Содержит массу возможностей:
    • навигация, проверка статуса статуса навигации
    • работа с закладками (в каждой закладке — свой браузер)
    • получение и установка системных параметров (модель браузера, его версия, юзер агент, а также папки куков и кэша)
    • получение и установка визуальных параметров (размер браузера и страницы, позиции скролов)
    • получение и установка контентных параметров (наличие картинок, видео,фреймов,java,java scripts и т.д)
    • работа с JS (включать и выключать, выполнять встроенные и произвольные JS скрипты)
    • работа с прокси серверами (задать прокси, снять прокси и получить текущий прокси)
    • работа с кукисами (установка и получение )
    • работа с popup страницами
    • работа с сообщениями браузера
    • работа с окнами авторизации браузера
    • работа с диалогом загрузки и выгрузки файлов
    • работа с акцептами и реферерами
    • выполнение встроенных команд браузера (сохранение страницы, печать страницы, смена масштаба и т.п …)
    • выполнение POST и GET запросов
    • проверки статуса соединения
  • webpage – работа с текущей веб страницей. Этот объект нужен для обработки и получения содержимого веб страницы. Позволяет делать следующее:
    • работать с телом страницы (позволяет получать разные части страницы а также заменять страницы в браузере)
    • получать информацию по текущей веб-странице (кодировку, активный элемент,урл,домен, исходник и т.п)
    • также содержит много других полезных функций (сохранение страницы , скриншот страницы , поиск координат по рисунку и многое другое)

Как видно эти два объекты уже сами по себе достаточно мощные средства управления браузера. Но есть еще и другие, следующая подкатегория объектов это объекты доступа к сервисами распознавания капч.

Объекты для доступа к сервисам распознавания капч:

  • anticaptcha – распознование капчи используя сервис AntiGate.com
  • ripcaptcha – распознование капчи используя сервис RipCaptcha.com
  • evecaptcha – распознование рекапчи используя сервис Eve.cm
  • bypasscaptcha – распознование капчи используя сервис bypasscaptcha
  • captchabot – распознование капчи используя сервис captchabot.com

Как видно из названий добавить тут нечего, разве что каждый объект отвечает за свой сервис, на входе передается картинка каптчи и ключ сервиса, а на выходе имеем результат распознания каптчи или людьми или в полуавтоматическом режиме. За каждое такое распознание с нас взимается небольшая сумма денег, обычно 2-3 бакса за 1000 каптч. Хочу отметить только работу сервиса антигейт, на мой взгляд — лучший сервис из всех, хотя бывает загружен, и тогда лучше использовать их все вместе.

Объекты для работы с заданными протоколами и сервисами Интернета:

  • connection – управлением соединением с интернетом. Объект позволяет следующее:
    • получение параметров текущего соединения (модем, сеть, есть инет или нет и т.д)
    • получение локального и реального ай-пи адреса
    • работа с Ethernet (запускать и отключать заданные сетевые соединения)
    • работу с RAS (управление модемными соединениями — логин, перезапуск)
  • ftp – работа с фтп. Позволяет работать с фтп соединением и может следующее :
    • подсоединятся и отсоединяться от фтп
    • работать с фтп папками
    • работать с фтп файлами
    • другие полезные фтп команды
  • mail – работа с почтой. Данный объект работает с POP3 и SMTP соединениями, и может следующее
    • соединятся по POP3 и SMTP
    • управлять параметрами POP3 и SMTP соединений
    • получать количество писем на сервере и получать эти письма по POP3
    • по POP3 получать различную информацию о письме с сервера, не удаляя само письмо (дата, тема, от кого, размер и т.п.)
    • отсылать сообщения по SMTP в текстовом и HTML видах
  • proxycheker – управление прокси — чекером. Этот объект служит для  проверки работоспособности прокси серверов и может делать следующее :
    • работа со списком прокси (добавление, добавление из файла, убирание дубликатов и редактирование)
    • получение информации по списку прокси и других различных характеристик по каждому из прокси адресов
    • собственно управление самим процессом тестирования (запуск, останов, задание качества и скорости тестирования)
  • raw – управление raw потоками браузера. Этот объект служит для получения информации об обмене браузера с сервером и может следующее
    • включать и выключать слежение за различными типами протоколов
    • получать последнюю запрошенную информацию браузером (урлы и заголовки)
    • получать последнюю отвеченную сервером информацию (урлы и содержимое)
    • очищать последнюю информацию
    • вмешиваться в процесс запроса информации и ее получения

Т.е эта подкатегория позволяет решать уже ряд очень специфических задач, возникающих в процессе сбора данных. Ну а последняя подкатегория — это вспомогательная.

Вспомогательные объекты :

  • seo – набор функций, связанных с SEO. Данный объект позволяет получать карту сайта, а также внешние и внутренние ссылки. Весьма вспомогательный.
  • submitter – вспомогательный объект для сабмита информации в веб. Этот объект более нам интересен с точки зрения постинга в веб. Хотя иногда чтобы что-то собрать с веба надо туда что-то запостить, например те же регистраторы аккаунтов. Содержит следующий функционал
    • получение случайных географических данных (страна, регион, город, улица)
    • получение случайных ников, имен и фамилий
    • получение случайных строк и чисел

Т.е как видим из описания функционала, Хуман Эмулятор умеет весьма много. И это мы обязательно будем использовать создавая наши скрипты сбора данных. А в следующей статье я расскажу про категорию Window, тут собраны объекты, помогающие хуман эмулятору взаимодействовать с Windows а также управлять любыми другими сторонними программами и окнами.

Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники
Опубликовать в Яндекс
Опубликовано в Human Emulator, Обучение, Общая информация Метки: , ,

Добавить комментарий

Ноябрь 2017
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 12345
6789101112
13141516171819
20212223242526
27282930