cron и запуск скриптов.

[Гром]

Вопрос такой.
Есть к примеру идея собирать все комп новости в одно место - типа lenty.ru только не от сайтов великосветских, как там, а от обычных небольших сайтов.

Для этого один общий скриптик с общим форматом выдачи данных должен разместить у себя каждый желающий - отредактировать его и выдать инфу о последних новостях сайта.

Для ускорения загрузки новостей появилась идея не оббегать каждый раз, когда клоиент смотрит новости, по всем сайтам откуда они экспортируются, ибо тогда будет кошмар, по скорости загрузки.

А хранить все в одном html файле. Этот файл раз в час или раз в пол часа формировать с помощью cron запсука скрипта паука, который оббегая все сайты будет запрашивать у скрипта дату обновления новостей и если дата новая, то скачивать новость с сайтов и формировать новый блок в HTML. Когда паук оббежит все сайты, то тогда старый HTML менять на новый HTML файл и все - новости обновились.


Все бы хорошо - но вот вопрос....
Все хостинги критичны к вопросу о загрузки их серверов.
При наличии 10 сайтов обновленных время скачивания и работы скрипта на сайт получается секунд 5 - т.е. 1 минута работы скрипта на 10 сайтов.
И 600 сайтов соответственно час работы...
И как обновлять все раз в пол часа???

Поясните принцип работы вот такого сервиса? А то что-то я не догоняю...
Ведь обычные поисковики обрабатывают миллионы сайтов, что же делать сайтам статистики или таким как я предложил???

[Lex]

Гром, делить на несколько скриптов, каждый из который обрабатывет не более 100 сайтов скажем, затем это все сливается в один файл и показывается.

[Гром]

Но все равно суммарная работа скриптов будет скажем пол часа.
Загрузка на сервер будет в етчении получаса, и при наличии достаточно большого числа получается раз в сутки индексация одной группы - но как-то же сделано, что индексируются новости чаще...

[Lex]

Еще вариант, устанавливать маленький таймаут на связь с сервером.

Кстати при твоих начальных данных каждый скрипт работать будет не более 10 мин. А вот сколько скриптов одновременно может рабоать зависит от сервера, на котором они крутятся.

[Гром]

Кстати при твоих начальных данных каждый скрипт работать будет не более 10 мин. А вот сколько скриптов одновременно может рабоать зависит от сервера, на котором они крутятся.

В принципе верно - запускать скрипты пачками на короткое время и ставить не выскоий тайм-аут и тогда все отработает в сумме за 10-15 минут при этом каждый скрипт скажем по 3 минутам, и получится что отработка пойдет б
быстрее...

Кстати как ты думаешь такая идея пойдет???

[RXL]

Ведь обычные поисковики обрабатывают миллионы сайтов, что же делать сайтам статистики или таким как я предложил???

Некоректное сравнение. Поисковик и новостная лента - вещи разные и работают по разному. Поисковику торопиться некуда, потому он может и много просматривать, а лента берет не все и с небольшого списка сайтов. А принцип работы схож - параллельные запросы страниц. Без графики, стилей и рекламы страницы весят в несколько раз легче и грузятся быстрее.
Сливать в один файл несколько процессов врятли будут - быстрее это делает один, а остальные заносят в отдельные файлы или в базу. В этом случае генерить результирующую страницу можно чаще и независимо он роботов. Главное чтобы они уложились в отведенный период времени.

[Lex]

Гром, об этом я и говорил.
И если использовать для слива результатов БД , как предлагает RXL, то можно сделать отдельный скрипт, который запускается на странице и делает выборку по текущим найденым новостям, и не зависит от поисковых скриптов.

[Гром]

Понял - спасибо - вопрсов вроде больше нет - как вам идейка - сделаем

Как только движок напишу - будем ставить.

[RXL]

Давай разберем какие проблемы видны на первый взгляд:
1) На каждый сайт придется писать свой скрипт и при смене дизайна на нем еще и переписывать. Т.е. надо следить за этим, или как-то определять смену дизайна автоматически.
2) После разбора страницы определить, была ли уже зафиксированна эта статья.
3) Авторские вопросы: разрешат ли хозяева тех сайтов такое копирование?

[Гром]

1&2. Абсолютно верно - только не писать а настраивать.
Т.е. есть таблица со статьями. Пишется скрипт - где есть абстрактное обращение к таблице БД - которая будет указана, к полям, которые будут указаны, и берет 10 последних сообщений - по дате.
При повторном запросе делаем WHERE data>olddata т.е. имеем  все статьи после - если вернулось 0 - то ничего не качаем.
3. А как я скрипт размещу без их разрешения???

Это надо к каждому сайту крупному обращаться.
А мелкие сами придут - рекламу - раскручивать надо.

ИМХО вполне может получиться.

[RXL]

А с каких сайтов ты хочешь брать новости? (кроме compulenta.ru - это и так есть).

[Гром]

RXL, я вообще не новости хочу брать.
У каждого сайта есть статьи - обновления - не новости как на лентах, а именно обновления.
Автоматом это выводит - 20-40 сайтов нормально работающих собрать и с ними работать, тогда вся эта 1 страничка будет стоить всех новостных лент, ибо будет для программеров содержать самые новые статьи рунета.

Архива само собой не будет, т.е. страница новостей длиной скажем в 50 пунктов.

[RXL]

Предлогаю сделать робота на perl-е. Для начала нужно определить формат базы и предварительный список сайтов (для тестов).

[Гром]

RXL, я перл не знаю, вернее знаю но плохо...

Формат откатывать будем на себе...
Таблица - с скачанными статьями - дата десриптор ссылка сайт откуда - типа ID, другого пока не вижу...

[RXL]

За то я перл немного знаю
У тебя подопытные сайты на примете уже есть?

[Гром]

Приметы есть - надо по фаворитам пройтись - но тестировать бум на своем.

[RXL]

Гром, написал небольшой скрипт на perl-е. Его еще дорабатывать нужно, но базовые ф-ии работают нормально. как-то: каждое задание в своем процессе (так контролировать легче и есть параллельность выполнения), ф-ии закачки страницы по заданному в параметре url-у, подключение к БД, для каждого сайта свой компактный модуть (отдельный файл), который парсит страничку, с возможностью вызывать сервисные ф-ии из основного модуля. Пока на shelek-е отрабатываю - закачивает /club/view.php, находит на нем линки типа /club/view.php?id= , а на тех страницах уже лежат ссылки на статьи. Если нужны только обновления с точки зрения сайта (с точки зрения робота, обновления - это то чего он еще не имеет), то сразу на /club/ , а там и лежат ссылки на последнее. Как лучше? То ли вообще я делаю?

[Гром]

Ни фига себе скорость...
Я хотел это на php писать - но Перл тоже пойдет - будет два варианта - я тебе полностью свою идею завтра нарисую, а ты сам посмотришь и обдумаем ОК?

[RXL]

У меня пока нет главного - что считать новым.

[Гром]

будет база в которой есть последняя дата добавленного докуменгта с конкретного сайта, все остальное новое...
Для нового сайта при добавлении - 5 последних новостей - ну или 10 - там надо конфиг делать.

[RXL]

Не всегда на странице есть дата выпуска статьи.

[Гром]

Я знаю, тут у нас проблема ее надо обдумывать.

[zerokool]

RXL и Гром. Пронаблюдал ваши творческие муки. Сначала от души потрещал, потом стало жалко. Могу помочь. Не хотелось бы, что бы вы меня воспринимали как отрицательного персонажа этой пьесы. Я деиствительно могу разрешить ситуацию.
1) Парсить чужие сайты это просто гениальная идея, ну, как говориться, черевато... Подумайте сами. Если же хотите парсить с благославения админов самих сайтов - удачи... Админ вашего сервака от всей души обрадуется обжерливому роботу + сложно + нерационально.
2) Можно сделать по-старинке. На единственном серваке лежит жирная база данных:) к которой админы сайтов с помощью заранее любезно предоставленного скрипта добавляют новости, анонсы и. т. д.
3) Скрипт вашей ленты будет вытаскивать последние n записей и отдавать подпраграмме скинов. (При правильном написании подпрограммы на перле нет ничё прощем, чем натянуть заранее приготовленную шкурку). Но это мелочи. Если сам подход к решению проблеммы не противоречит вашим поцифистским убеждениям я подробно расскажу как это сделать. (может и сделаю, если время будет). В принципе на все про все у меня бы ушло 10 часов... максимум.

P.S. Извините, что вмешался в вашу дискуссию. Если сочтете мой стиль немного... бестактным, то прошу прощения.

P.P.S О грамматических ошибках знаю и сам:)

[Гром]

Твое пребывание на форуме этом зависит от того - как быстро ты извинишься за свое прошлое сообщение!!!!