Форум программистов «Весельчак У»
  *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

  • Рекомендуем проверить настройки временной зоны в вашем профиле (страница "Внешний вид форума", пункт "Часовой пояс:").
  • У нас больше нет рассылок. Если вам приходят письма от наших бывших рассылок mail.ru и subscribe.ru, то знайте, что это не мы рассылаем.
   Начало  
Наши сайты
Помощь Поиск Календарь Почта Войти Регистрация  
 
Страниц: [1]   Вниз
  Печать  
Автор Тема: сбор данных с чужого сайта.  (Прочитано 31355 раз)
0 Пользователей и 1 Гость смотрят эту тему.
abra
Постоялец

il
Offline Offline

« : 16-11-2003 13:09 » 

вопрос достаточно бестолковый и плохо  сформулированный, но для того, чтобы задать "хороший" вопрос, надо точно знать, что спрашивать, а у меня именно с этим и возникли проблемы.  Ага

и так сам вопрос: существует сайт - он лайновая игрушка, где игроки воюют друг с другом. У каждого игрока есть личные данные от его уровня и до ссылок на его последние бои. Если я хочу собрать  определенную информацию с этого сайта, для дальнейшей обработки, чем мне пользоваться? Какими функциями и т.д.

P.S. немного знаю С++, SQL и HTML. С Jav-ой, поскольку она похожа на С++, отношения натянутые - читать могу, а вот написать что либо напряг  :?

P. P.S. нужная мне информация находиться в открытом доступе. Т.е. посмотреть на нее могут все желающие
Записан

Что для одного ошибка, для другого - исходные данные.
Xeysan
Гость
« Ответ #1 : 16-11-2003 15:56 » 

Цитата

С Jav-ой, поскольку она похожа на С++, отношения натянутые - читать могу, а вот написать что либо напряг  

 Отлично  Абсолютно аналогично... Извини, что не ответил...
Записан
Sommer
Молодой специалист

us
Offline Offline

« Ответ #2 : 16-11-2003 19:18 » 

тебя интересуют алгоритмы или ты ждешь что кто-нибудь тебе напишет код?... )
Записан

когда-нибудь, я верю, ты будешь ехать по этому городу и поймёшь, что хочешь увидеть меня за рулём мчащейся по соседней полосе машины.
но тогда меня уже не будет
в этом городе
forever yours.
abra
Постоялец

il
Offline Offline

« Ответ #3 : 16-11-2003 19:33 » 

меня интересует с помощью каких функций можно добраться до базы данных находящейся на сервере и как из этой базы выдернуть то, что мне нужно(обычным запросом SQL или еще как). С алгоритмом я думаю и сама справлюсь  Вот такой я вот
Записан

Что для одного ошибка, для другого - исходные данные.
Sommer
Молодой специалист

us
Offline Offline

« Ответ #4 : 16-11-2003 19:44 » new

Цитата: abra

P. P.S. нужная мне информация находиться в открытом доступе. Т.е. посмотреть на нее могут все желающие

эту информацию могут посмотреть все желающие через web - интерфейс или доступ  к базе имеют все желающие?
Записан

когда-нибудь, я верю, ты будешь ехать по этому городу и поймёшь, что хочешь увидеть меня за рулём мчащейся по соседней полосе машины.
но тогда меня уже не будет
в этом городе
forever yours.
abra
Постоялец

il
Offline Offline

« Ответ #5 : 16-11-2003 19:58 » 

думаю и то и другое (естественно read only)
Записан

Что для одного ошибка, для другого - исходные данные.
Sommer
Молодой специалист

us
Offline Offline

« Ответ #6 : 16-11-2003 20:16 » 

abra,
я думаю что сканировать интернет -странички, выдаваемые твоим браузером  - неблагодарное занятие
думаю что надо коннектитьтся к базе.
думамю перво-наперво нужно узнать форматы тыблиц(какие там поля есть) и какие таблицы(названия)и место на сервере, где они лежат
Записан

когда-нибудь, я верю, ты будешь ехать по этому городу и поймёшь, что хочешь увидеть меня за рулём мчащейся по соседней полосе машины.
но тогда меня уже не будет
в этом городе
forever yours.
abra
Постоялец

il
Offline Offline

« Ответ #7 : 16-11-2003 20:28 » 

Цитата: mandela
abra,
думаю что надо коннектитьтся к базе.


естественно. В том то и загвоздка, что я не знаю КАК это сделать. Все данные по таблице я жду от администрации сайта, но  даже зная ее конфигурацию и адреса, без этого самого "как" эти знания мне не сильно помогут   :?
Записан

Что для одного ошибка, для другого - исходные данные.
abra
Постоялец

il
Offline Offline

« Ответ #8 : 16-11-2003 20:47 » 

возможно этот топик нужно было разместить в другой конференции в С/С++, или в сети, или в начинающих, или еще где?.....
Записан

Что для одного ошибка, для другого - исходные данные.
Sommer
Молодой специалист

us
Offline Offline

« Ответ #9 : 16-11-2003 21:28 » 

abra,
думаю сначала стотит дождаться данных от администрации, ибо если не дадут данных, то и коннектиться не придется...

я в этом вопросе не силен, но мне кажется нужно еще знать какой у них SQL - server - от этого зависит какими функциями ты будешь пользоваться чтобы получить доступ к базе.
Записан

когда-нибудь, я верю, ты будешь ехать по этому городу и поймёшь, что хочешь увидеть меня за рулём мчащейся по соседней полосе машины.
но тогда меня уже не будет
в этом городе
forever yours.
abra
Постоялец

il
Offline Offline

« Ответ #10 : 16-11-2003 21:35 » 

mandela,
данные то придут, это не проблема. Просто я еще никогда в сети не работала (странички не в счет) и очень хочется хотя бы наброски сделать. Понять что и как работает. Функции, опять таки, нужные узнать....
Записан

Что для одного ошибка, для другого - исходные данные.
abra
Постоялец

il
Offline Offline

« Ответ #11 : 16-11-2003 21:39 » 

Цитата: mandela
,
я в этом вопросе не силен, но мне кажется нужно еще знать какой у них SQL - server - от этого зависит какими функциями ты будешь пользоваться чтобы получить доступ к базе.

кстати о птичках, а какие бывают?  Показываю язык
« Последнее редактирование: 21-11-2007 16:03 от Алексей1153++ » Записан

Что для одного ошибка, для другого - исходные данные.
MOPO3
Ай да дэдушка! Вах...
Команда клуба

lt
Offline Offline
Пол: Мужской
Холадна аднака!


WWW
« Ответ #12 : 17-11-2003 05:39 » 

Цитата: abra
меня интересует с помощью каких функций можно добраться до базы данных находящейся на сервере и как из этой базы выдернуть то, что мне нужно(обычным запросом SQL или еще как). С алгоритмом я думаю и сама справлюсь  Вот такой я вот

Ну к базе данных то доступ наверняка закрыт  Улыбаюсь  А раз уж информация открыта на вебе, то тебе всего то и надо из скрипта открыть ХТМЛ файл и распарсить его у себя так как тебе нужно.
Если знаком с перлом или ПХП, покопай в сторону
Код:
fopen();
Ещё советую зайти сюда : http://www.webscript.ru , там есть статейки на енту тему с готовыми примерами.
« Последнее редактирование: 21-11-2007 16:02 от Алексей1153++ » Записан

MCP, MCAD, MCTS:Win, MCTS:Web
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #13 : 17-11-2003 14:59 » 

Сомневаюсь я что СУБД у них открыт на публичный доступ. Да же read only - это все вопросы безопасности сайта.
Остается только одно - web интерфейс: программой (на любом языке) скачиваешь нужную страницу с сайта и ищешь в ней нужные данные. Вот на этом этапе общих принципов нет - страницы все разные - исследуй исходный код страницы вручную и найди что и как искать . Из инструментария, как правило, достаточно ф-ий поиска в тексте по готовым подстрокам и шаблонам (как в perl-е).
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
abra
Постоялец

il
Offline Offline

« Ответ #14 : 17-11-2003 16:37 » 

RXL  MOPO3,


распотрошить Web-страницу не проблема, но это занимает время. Особенно если для сбора информации мне нужно полазить по нескольким страницам. Неужто других путей нет?   Так больше нельзя...
Записан

Что для одного ошибка, для другого - исходные данные.
abra
Постоялец

il
Offline Offline

« Ответ #15 : 17-11-2003 16:40 » 

MOPO3,

кстати спасибо за ссылку. Оч-чень интересная  Ага
Записан

Что для одного ошибка, для другого - исходные данные.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #16 : 17-11-2003 16:54 » 

abra, мне казалось что алгоритмы поиска не такие тормозные - вполне реально за несколько миллисекунд найти в 20-50кБ текста нужный шаблон. Или ты имеешь в виду ручной поиск?
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
abra
Постоялец

il
Offline Offline

« Ответ #17 : 17-11-2003 17:12 » 

RXL,
я имею в виду перелопатить несколько тысяч страниц онлайн.....
Записан

Что для одного ошибка, для другого - исходные данные.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #18 : 17-11-2003 23:12 » 

abra, дело не в количестве, а в периодичности сбора и скорости скачивания (хороший канал и чтобы тот сайт не тормозил). Если, предположим, ты будешь скачивать 10 страниц в секунду (без графики дело намного быстрее идет - главное как быстро их генерит сайт и чтобы канала хватило), то на 1000 страниц уйдет всего 100сек (1мин 40сек). Учитывая объем это не много.

Тебе нужны данные обо всех игроках, об одном, или о определенной группе? Тут, возможно, есть на чем сэкономить.

Насчет прямого доступа к базе - это конечно было бы удобнее (пересылка только тех данных что нужно), но если админ не твой хороший знакомый, то врятли даст.
Кстати, о информации по запросу: если через web ты можешь делать поиск данных на конкретного пользователя, но и программа это то же сможет.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
abra
Постоялец

il
Offline Offline

« Ответ #19 : 17-11-2003 23:32 » 

RXL, мне нужно и то, и другое, и третье в зависимости от задания. Проблема в определении группы. Самое проблематичное то, что она не постоянна т.е люди произвольно подключаются и выносятся из неё, поэтому один раз составить список и потом его использовать не получиться. Да и сервер очень часто перегружен, так что тормозит нещадно. Ко всем прочим прелестям, прога должна будет бегать не только на моей машине, но и у других и как это будет выглядеть с модемным подключением мне даже представить страшно.  Жаль
Записан

Что для одного ошибка, для другого - исходные данные.
MOPO3
Ай да дэдушка! Вах...
Команда клуба

lt
Offline Offline
Пол: Мужской
Холадна аднака!


WWW
« Ответ #20 : 18-11-2003 06:34 » 

abra, Ну касаемо других, то всё просто, закрути у себя базу или записивай данные в файл, а остальным давай считывать этот файл или сделай простенький веб интерфейс, который и выведет тебе эти твои данные для общего пользования.
Записан

MCP, MCAD, MCTS:Win, MCTS:Web
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #21 : 18-11-2003 10:09 » 

abra, сочуствую...
Кстати, если ты не будешь знать, что тебе точно надо скачать, то ни чего и не получится - база она тоже весит не мало.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
abra
Постоялец

il
Offline Offline

« Ответ #22 : 18-11-2003 11:00 » 

MOPO3, первоначально так и планировалось, но я же говорю, состав группы не статичен, он может измениться в любой момент не обновлять же  данные каждый час....
Записан

Что для одного ошибка, для другого - исходные данные.
Страниц: [1]   Вверх
  Печать  
 

Powered by SMF 1.1.21 | SMF © 2015, Simple Machines