Архивы блога

Уведомления о работе PHP сборщиков (уведомление на E-Mail через PHP)

В процессе сбора данных наши сборщики будут работать сутками и нам надо следить за их работоспособностью. Например упал сервер, изменились условия сбора или просто отключили свет. Чтобы постоянно не следить за работой нужен механизм извещения о процессе работе сборщиков данных.

Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,

Многопоточный PHP сборщик поисковых подсказок

В предыдущих статьях я описал как создать многопоточные поисковые сборщики на PHP по следующим системам : Google Suggest — сборщик поисковых подсказок Google Yandex Suggest — сборщик поисковых подсказок Yandex Rambler Suggest — сборщик поисковых подсказок Rambler Nigma Suggest — сборщик поисковых подсказок Nigma

Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,

Сбор поисковых подсказок Rambler (многопоточный PHP сборщик)

Идем далее по местам где можно получить поисковые подсказки. Следующая поисковая система это Rambler. С нее тоже можно получать вполне приличные поисковые запросы. Посмотрев в интернете мы найдем, что для запросов используется следующий адрес. Все это хорошо вписывается в наш

Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,

Сбор поисковых подсказок Nigma(многопоточный PHP сборщик)

Еще одно место где можно получить поисковые запросы это подсказки поисковой системы Nigma.ru. Набрав в ней например «поисковые п» мы получим следующее : Поискав в интернете , определяем что запрос поисковых подсказок идет по следующему адресу. Т.е в самом конце

Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,

Сбор поисковых подсказок Google (многопоточный PHP сборщик)

При наборе слов в Google нам выдаются определенные поисковые подсказки. Т.е например при вводе автоматизация бизнеса , гугл нам предлагает следующие варианты поисковых запросов : Поискав в интернете можно найти урл, по которому идет запрос этих данных : т.е в самом

Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Увеличение эффективности Прокси)

В прошлых постах, я создал многопоточный сборщик поисковых результатов Google API на PHP. Из опыта использование получилось что скорость его работы сильно зависела от качества использованных проксей. Сегодня я видоизменил механизм использования проксей в этом сборщике. Для этого был полностью

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Классы)

В предыдущем посту я рассказывал как организовать многопоточный сбор поисковых результатов через Google API и обещал показать как происходит оптимизация и сделать нормальную структуру кода. Для этого я перевел все на классы и объекты. Разбил большие функции на более понятные.

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Многопоточность)

В прошлый раз я описал как организовать сбор данных на PHP, используя прокси сервера. Скрипт брал слова из файла и запрашивал поисковые результаты по ним через Goggle API. Все это работало через прокси, что существенно повышало скорость работы с Google API.

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Прокси)

В прошлом посту я описал, как создать  сборщик, который собирает поисковые результаты Google, используя Google API в цикле с возможностью прерывания и продолжения. Теперь я расскажу как сделать чтобы этот код работал быстрее. Для этого я уберу паузы между запросами и сделаю

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , ,
Декабрь 2017
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 123
45678910
11121314151617
18192021222324
25262728293031