Многопоточный PHP сборщик поисковых подсказок

В предыдущих статьях я описал как создать многопоточные поисковые сборщики на PHP по следующим системам :

  • Google Suggest — сборщик поисковых подсказок Google
  • Yandex Suggest — сборщик поисковых подсказок Yandex
  • Rambler Suggest — сборщик поисковых подсказок Rambler
  • Nigma Suggest — сборщик поисковых подсказок Nigma

Весь код рабочий и выполняет свои задачи. Теперь зайдем с точки зрения удобств. Просто перепишем сборщик так, чтобы можно было запускать сразу сборщики всех типов за один раз. Для этого создадим конфигурационный файл \in\threads_cfg.in  следующего вида :

аббревиатура сборщика;Число потоков
gsu;10
ysu;10
nsu;10
rsu;10

Здесь мы указываем что надо запустить сборщики четырех типов, каждый в десять потоков. Далее готовим папку src — там создаем 4 файла для запуска каждого типа сборщика поисковых результатов в один поток :

  • gsu.php
  • nsu.php
  • rsu.php
  • ysu.php

Теперь модифицируем класс CMultiThreadLauncher , создающий потоки. Добавляем чтение и обработку конфигурационного файла для создания потоков и добавляем запуск потоков. И запускаем на выполнение. В итоге мы имеем одновременный запуск сборщиков любого типа в заданное число потоков. У всех сборщиков одинаковые входные данные запросов src/queries.txt и прокси src/proxy.txt. Эти данные делятся согласно числу потоков для каждого типа сборщика и запускается сбор.

пример сбора поисковых результатов с различных поисковых систем

сбор поисковых подсказок с различных поисковых систем

Материалы :

Как всегда весь исходный код по этой статье можно скачать здесь. Руководство «Как запустить этот и другие PHP скрипты с этого сайта» всегда можно найти здесь. Где взять платные и бесплатные прокси сервера, можно найти здесь. А где взять поисковые запросы и ключевые слова можно найти здесь. Пожелания и предложения по коду и сотрудничеству можно присылать на почту или в комментарии.

Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники
Опубликовать в Яндекс
Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,
Сентябрь 2021
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 12345
6789101112
13141516171819
20212223242526
27282930