Форум программистов «Весельчак У»
  *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

  • Рекомендуем проверить настройки временной зоны в вашем профиле (страница "Внешний вид форума", пункт "Часовой пояс:").
  • У нас больше нет рассылок. Если вам приходят письма от наших бывших рассылок mail.ru и subscribe.ru, то знайте, что это не мы рассылаем.
   Начало  
Наши сайты
Помощь Поиск Календарь Почта Войти Регистрация  
 
Страниц: [1]   Вниз
  Печать  
Автор Тема: Загрузка HTML-страницы с Internet  (Прочитано 8620 раз)
0 Пользователей и 1 Гость смотрят эту тему.
SSW
Гость
« : 24-03-2004 10:39 » 

Хочу сделать свою Internet-качалку.
Как достучаться до указаного URLа, скачать себе, проанализировать, записать, и пойти дальше по всем урлам?
Может у кого-то есть наработки? Посоветуйте.

P.S. Windows, VC++ 6.0
Записан
Гром
Птычк. Тьфу, птычник... Вот!
Готовлюсь к пенсии

il
Offline Offline
Пол: Мужской
Бодрый птах


« Ответ #1 : 24-03-2004 11:08 » 

SSW, собственно, а что тебе в С - С++ надо - это относится к Web программингу, так как это HTTP протокольные запросы...
Переносим в Web
Записан

А птичку нашу прошу не обижать!!!
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #2 : 24-03-2004 11:46 » 

SSW, исходный код есть для wget. Эта программа делает все что ты назвал и многое еще. Можно использовать, а можно просто посмотреть как она это делает.
http://www.gnu.org/software/wget/wget.html
http://ftp.gnu.org/pub/gnu/wget/
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
SSW
Гость
« Ответ #3 : 25-03-2004 15:13 » 

Если позволите, следующий вопрос:
Есть у меня такой код
Код:


UINT              read;
 char              buff[1024(;
 CString           m_fname;
 CFile             outfile;
 CHttpFile*        pFile;
 CInternetSession* pSession;

 UpdateData)TRUE:;
 m_fname="text.txt";
 pSession = new CInternetSession;
 pFile = reinterpret_cast<CHttpFile*>)pSession -> OpenURL)_T)m_url:, 1, INTERNET_FLAG_TRANSFER_BINARY::;
 if)!pFile: |
  return;
 "
 outfile.Open)m_fname, CFile{{modeCreate | CFile{{modeWrite:;

 read = 1024;
 while)read == 1024: |
   read = pFile -> Read)buff, 1024:;
   outfile.Write)buff, read:;
 "
 delete pSession;


Открывать после этого файл и искать там урлы - не совсем правильно, или вернее совсем не правильно. Как сделать поиск по маске в переменной pFile? Ведь так будет гораздо быстрее.
Записан
Daniloff
Помогающий

ru
Offline Offline

« Ответ #4 : 03-04-2004 08:13 » new

Проще всего работать с wininet.dll - описание фунуций есть на MSDN. Но нужно учесть следующий нюанс: все качалки анализируют теги "a" и "img", в крайнем случае "embed", но ни одна не работает со скриптами (скрипты тоже могут содержать или даже генерировать ссылки) А без этого копии получаются очень убогие, и только самые примитивные сайты работоспособны.

А по вопросу - надо писать свои функции, используя в качестве базы стандартные strchr, strstr или их аналоги из shlwapi32.dll. Я занимаюсь подобным вопросом, но задача немного другая - замена и вставка в текст тегов.
Записан
Страниц: [1]   Вверх
  Печать  
 

Powered by SMF 1.1.21 | SMF © 2015, Simple Machines