Очередь в работе с тредами

[samlab]

Используя треды в парсинге, делаю так

Код:

threads->new(\&pars) for 1 .. 10;

$_->join for threads->list;

sub main
{
# тут запрос
{

Проблема в том, что запрос осуществляется в 10 потоков одновременно. Т.е., скрипт выдачи сервера считает, что сайт банально ддосят...
Есть ли какой нибудь способ реализации очереди??? Заранее спасибо откликнувшимся...

[RXL]

samlab, очередь - это уже последовательная обработка.

Короче, меняй логику: один поток для запросов и N потоков для обработки. С другой стороны, если обработка занимает десятые доли секунды и меньше, то уже не имеет смысла использовать потоки.

[samlab]

samlab, очередь - это уже последовательная обработка.

Короче, меняй логику: один поток для запросов и N потоков для обработки. С другой стороны, если обработка занимает десятые доли секунды и меньше, то уже не имеет смысла использовать потоки.

Обработка действительно занимает доли секунд, как же тогда быть?

[RXL]

Не использовать потоки. Сделай все последовательно в одном цикле.

[samlab]

Тогда, весь процесс будет слишком долгим... А что вы можете сказать про Thread::Queue ?

[RXL]

Или тебя забанят за DoS...


У тебя главная проблема в том, что ты не должен делать много одновременных запросов на сервер. В идеале - один одновременный запрос. Т.е. экономить время можно только на обработке данных: класть задания в очередь, а 1-2 потока будут забирать их и обрабатывать (не забудь про синхронизацию!).
Если время запроса, скажем, секунда, а время обработки - 0.1 секунды, то такая схема даст всего лишь 1/11 экономии.

[samlab]

Понятно, спасибо

Добавлено через 8 часов, 39 минут и 46 секунд:
  Вот, хотел еще узнать, каким образом очищать буфер в перле, чтобы данные, пришедшие с сервера его не забивали?

[RXL]

Какой буфер?

[samlab]

Когда данные выводятся на печать, а скрипт запущен в кроне

[RXL]

samlab, я ничего не понимаю из того, что ты говоришь. Может мне надо выспаться, но все же попрошу изъясняться понятнее.

[samlab]

Я вот это имел ввиду, прошу прощения за свою корявую речь  http://computerlibrary.info/view/article133/
В частности, Perl имеет неприятное свойство накапливать данные в буфере, но нам нужно будет их немедленно сбрасывать, для чего и применяется указанный метод.
Или это имеет место только при работе с сокетами? Парс делаю с помощью LWP, говорят, что так намного медленнее, чем с помощью сокетов... проясните ситуацию, пож...

[McZim]

Когда данные выводятся на печать, а скрипт запущен в кроне

а причем тут печать и буфер в приведенной статье?

[samlab]

Притом, что я имел ввиду этот буфер, а с печатью, наверное, просто некорректно выразился

[RXL]

samlab, приведенная ссылка ясности не добавила.
Разбираться в килобайтах непонятного текста? Зачем?! У нас же есть Хрустальный шар! Точнее бы...

Если ты про буферизацию вывода, то это лечится так:

Код:

$| = 1;

Всевозможные буферы на ввод не влияют.

Фигня насчет медленнее. Для современных PC процессорное время почти ничего не стоит, а вот сети и загрузка сервера — они обычно вносят наибольшую задержку.

[samlab]

  Спасибо, все понял...

[nagual]

Для того чтоб серв не думал что его ддосят нужно одить с кучи ипов через прокси ... или прикинуться гуглеботом ....
Кстати у тредов утечка памяти ... как с ней бороться кто то знает ?

[RXL]

nagual, откуда такая информация про утечку? Просто так - для красного словца?

[samlab]