Архивы блога

Сбор поисковых подсказок Google (многопоточный PHP сборщик)

При наборе слов в Google нам выдаются определенные поисковые подсказки. Т.е например при вводе автоматизация бизнеса , гугл нам предлагает следующие варианты поисковых запросов : Поискав в интернете можно найти урл, по которому идет запрос этих данных : т.е в самом

Опубликовано в PHP, Использование Web API, Сбор ключевых слов Метки: , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Выводы)

В предыдущих статьях я описал как организовать сбор поисковых результатов Google, используя его API, в многопоточном режиме на PHP. Приведу материалы в порядке публикации : Немного теории о Сборе Данных с Веба Пишем простейший сборщик, использующий Google API на PHP.

Опубликовано в PHP, Использование Web API, Обучение

Пишем простейший сборщик, использующий Google API на PHP. (Увеличение эффективности Прокси)

В прошлых постах, я создал многопоточный сборщик поисковых результатов Google API на PHP. Из опыта использование получилось что скорость его работы сильно зависела от качества использованных проксей. Сегодня я видоизменил механизм использования проксей в этом сборщике. Для этого был полностью

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Классы)

В предыдущем посту я рассказывал как организовать многопоточный сбор поисковых результатов через Google API и обещал показать как происходит оптимизация и сделать нормальную структуру кода. Для этого я перевел все на классы и объекты. Разбил большие функции на более понятные.

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Многопоточность)

В прошлый раз я описал как организовать сбор данных на PHP, используя прокси сервера. Скрипт брал слова из файла и запрашивал поисковые результаты по ним через Goggle API. Все это работало через прокси, что существенно повышало скорость работы с Google API.

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Прокси)

В прошлом посту я описал, как создать  сборщик, который собирает поисковые результаты Google, используя Google API в цикле с возможностью прерывания и продолжения. Теперь я расскажу как сделать чтобы этот код работал быстрее. Для этого я уберу паузы между запросами и сделаю

Опубликовано в PHP, Использование Web API, Обучение Метки: , , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Циклы и Продолжение)

В прошлом посту я описал, как создать простейший сборщик, который собирает поисковые результаты Google, используя Google API для одного запроса. Теперь я расскажу как сделать чтобы этот код брал поисковые результаты из файла и работал непрерывно до тех пор, пока

Опубликовано в PHP, Использование Web API, Обучение Метки: , , ,

Пишем простейший сборщик, использующий Google API на PHP. (Запрос и Сохранение)

В этом посте я опишу, как написать простейший сборщик Поисковых Результатов Google, используя API Google для поисковых результатов. Для простоты будем использовать язык PHP.  Выбор PHP для сбора хорош тем, что в дальнейшем написанные сборщики можно использовать практически на всех

Опубликовано в PHP, Использование Web API, Обучение Метки: , , ,
Декабрь 2021
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 12345
6789101112
13141516171819
20212223242526
2728293031