сбор данных с чужого сайта.

[abra]

вопрос достаточно бестолковый и плохо  сформулированный, но для того, чтобы задать "хороший" вопрос, надо точно знать, что спрашивать, а у меня именно с этим и возникли проблемы.  

и так сам вопрос: существует сайт - он лайновая игрушка, где игроки воюют друг с другом. У каждого игрока есть личные данные от его уровня и до ссылок на его последние бои. Если я хочу собрать  определенную информацию с этого сайта, для дальнейшей обработки, чем мне пользоваться? Какими функциями и т.д.

P.S. немного знаю С++, SQL и HTML. С Jav-ой, поскольку она похожа на С++, отношения натянутые - читать могу, а вот написать что либо напряг  :?

P. P.S. нужная мне информация находиться в открытом доступе. Т.е. посмотреть на нее могут все желающие

[Xeysan]

С Jav-ой, поскольку она похожа на С++, отношения натянутые - читать могу, а вот написать что либо напряг  

   Абсолютно аналогично... Извини, что не ответил...

[Sommer]

тебя интересуют алгоритмы или ты ждешь что кто-нибудь тебе напишет код?... )

[abra]

меня интересует с помощью каких функций можно добраться до базы данных находящейся на сервере и как из этой базы выдернуть то, что мне нужно(обычным запросом SQL или еще как). С алгоритмом я думаю и сама справлюсь

[Sommer]

P. P.S. нужная мне информация находиться в открытом доступе. Т.е. посмотреть на нее могут все желающие

эту информацию могут посмотреть все желающие через web - интерфейс или доступ  к базе имеют все желающие?

[abra]

думаю и то и другое (естественно read only)

[Sommer]

abra,
я думаю что сканировать интернет -странички, выдаваемые твоим браузером  - неблагодарное занятие
думаю что надо коннектитьтся к базе.
думамю перво-наперво нужно узнать форматы тыблиц(какие там поля есть) и какие таблицы(названия)и место на сервере, где они лежат

[abra]

abra,
думаю что надо коннектитьтся к базе.

естественно. В том то и загвоздка, что я не знаю КАК это сделать. Все данные по таблице я жду от администрации сайта, но  даже зная ее конфигурацию и адреса, без этого самого "как" эти знания мне не сильно помогут   :?

[abra]

возможно этот топик нужно было разместить в другой конференции в С/С++, или в сети, или в начинающих, или еще где?.....

[Sommer]

abra,
думаю сначала стотит дождаться данных от администрации, ибо если не дадут данных, то и коннектиться не придется...

я в этом вопросе не силен, но мне кажется нужно еще знать какой у них SQL - server - от этого зависит какими функциями ты будешь пользоваться чтобы получить доступ к базе.

[abra]

mandela,
данные то придут, это не проблема. Просто я еще никогда в сети не работала (странички не в счет) и очень хочется хотя бы наброски сделать. Понять что и как работает. Функции, опять таки, нужные узнать....

[abra]

,
я в этом вопросе не силен, но мне кажется нужно еще знать какой у них SQL - server - от этого зависит какими функциями ты будешь пользоваться чтобы получить доступ к базе.

кстати о птичках, а какие бывают?  

[MOPO3]

меня интересует с помощью каких функций можно добраться до базы данных находящейся на сервере и как из этой базы выдернуть то, что мне нужно(обычным запросом SQL или еще как). С алгоритмом я думаю и сама справлюсь

Ну к базе данных то доступ наверняка закрыт    А раз уж информация открыта на вебе, то тебе всего то и надо из скрипта открыть ХТМЛ файл и распарсить его у себя так как тебе нужно.
Если знаком с перлом или ПХП, покопай в сторону

Код:

fopen();

Ещё советую зайти сюда : http://www.webscript.ru , там есть статейки на енту тему с готовыми примерами.

[RXL]

Сомневаюсь я что СУБД у них открыт на публичный доступ. Да же read only - это все вопросы безопасности сайта.
Остается только одно - web интерфейс: программой (на любом языке) скачиваешь нужную страницу с сайта и ищешь в ней нужные данные. Вот на этом этапе общих принципов нет - страницы все разные - исследуй исходный код страницы вручную и найди что и как искать . Из инструментария, как правило, достаточно ф-ий поиска в тексте по готовым подстрокам и шаблонам (как в perl-е).

[abra]

RXL  MOPO3,


распотрошить Web-страницу не проблема, но это занимает время. Особенно если для сбора информации мне нужно полазить по нескольким страницам. Неужто других путей нет?  

[abra]

MOPO3,

кстати спасибо за ссылку. Оч-чень интересная  

[RXL]

abra, мне казалось что алгоритмы поиска не такие тормозные - вполне реально за несколько миллисекунд найти в 20-50кБ текста нужный шаблон. Или ты имеешь в виду ручной поиск?

[abra]

RXL,
я имею в виду перелопатить несколько тысяч страниц онлайн.....

[RXL]

abra, дело не в количестве, а в периодичности сбора и скорости скачивания (хороший канал и чтобы тот сайт не тормозил). Если, предположим, ты будешь скачивать 10 страниц в секунду (без графики дело намного быстрее идет - главное как быстро их генерит сайт и чтобы канала хватило), то на 1000 страниц уйдет всего 100сек (1мин 40сек). Учитывая объем это не много.

Тебе нужны данные обо всех игроках, об одном, или о определенной группе? Тут, возможно, есть на чем сэкономить.

Насчет прямого доступа к базе - это конечно было бы удобнее (пересылка только тех данных что нужно), но если админ не твой хороший знакомый, то врятли даст.
Кстати, о информации по запросу: если через web ты можешь делать поиск данных на конкретного пользователя, но и программа это то же сможет.

[abra]

RXL, мне нужно и то, и другое, и третье в зависимости от задания. Проблема в определении группы. Самое проблематичное то, что она не постоянна т.е люди произвольно подключаются и выносятся из неё, поэтому один раз составить список и потом его использовать не получиться. Да и сервер очень часто перегружен, так что тормозит нещадно. Ко всем прочим прелестям, прога должна будет бегать не только на моей машине, но и у других и как это будет выглядеть с модемным подключением мне даже представить страшно.  

[MOPO3]

abra, Ну касаемо других, то всё просто, закрути у себя базу или записивай данные в файл, а остальным давай считывать этот файл или сделай простенький веб интерфейс, который и выведет тебе эти твои данные для общего пользования.

[RXL]

abra, сочуствую...
Кстати, если ты не будешь знать, что тебе точно надо скачать, то ни чего и не получится - база она тоже весит не мало.

[abra]

MOPO3, первоначально так и планировалось, но я же говорю, состав группы не статичен, он может измениться в любой момент не обновлять же  данные каждый час....