Сбор поисковых подсказок Nigma(многопоточный PHP сборщик)

Еще одно место где можно получить поисковые запросы это подсказки поисковой системы Nigma.ru. Набрав в ней например «поисковые п» мы получим следующее :

скриншот выдачи поисковых подсказок с Nigma.ru

поисковые подсказки Nigma.ru

Поискав в интернете , определяем что запрос поисковых подсказок идет по следующему адресу. Т.е в самом конце стоит слово запроса по которому нам надо получить подсказки. Модифицируем наш исходный код из предыдущей статьи. Для этого создаем класс CNigmaSuggest, опять же унаследованный от базового класса CBaseWebAPI.

Кроме того улучшаем возможности всех предыдущих сборщиков, внося в базовый класс возможность управления сбором через папку control, записывая в эту папку следующие файлы мы можем управлять работой каждого потока сборщика :

  • stop.control — указывает что сборщик надо остановить
  • pause.control — указывает что сборщик надо поставить на паузу (в файле содержится на сколько секунд нужно сделать паузу)
  • write_stat.control — указывает что потоку сборщика нужно обновить файл статистки о своей работе
  • add_proxy.control — указывает что потоку сборщика надо добавить те прокси что содержатся в этом файле и продолжить свою работу
скриншот сбора поисковых подсказко с Nigma.ru

процесс сбора поисковых подсказок с Nigma.ru

Таким образом мы получаем уже довольно гибкую систему сбора поисковых подсказок. Система управления сбором нам пригодится чтобы потом написать скрипт-оболочку, которая будет управлять всем нашим сбором данным, обновлять прокси, выводить статистику сбора на экран. Это мы реализуем в следующих статьях.

Материалы :

Как всегда весь исходный код по этой статье можно скачать здесь. Руководство «Как запустить этот и другие PHP скрипты с этого сайта» всегда можно найти здесь. Где взять платные и бесплатные прокси сервера, можно найти здесь. А где взять поисковые запросы и ключевые слова можно найти здесь.

Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники
Опубликовать в Яндекс
Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,
Сентябрь 2021
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 12345
6789101112
13141516171819
20212223242526
27282930