Загрузка HTML-страницы с Internet

[SSW]

Хочу сделать свою Internet-качалку.
Как достучаться до указаного URLа, скачать себе, проанализировать, записать, и пойти дальше по всем урлам?
Может у кого-то есть наработки? Посоветуйте.

P.S. Windows, VC++ 6.0

[Гром]

SSW, собственно, а что тебе в С - С++ надо - это относится к Web программингу, так как это HTTP протокольные запросы...
Переносим в Web

[RXL]

SSW, исходный код есть для wget. Эта программа делает все что ты назвал и многое еще. Можно использовать, а можно просто посмотреть как она это делает.
http://www.gnu.org/software/wget/wget.html
http://ftp.gnu.org/pub/gnu/wget/

[SSW]

Если позволите, следующий вопрос:
Есть у меня такой код

Код:

UINT              read;
 char              buff[1024(;
 CString           m_fname;
 CFile             outfile;
 CHttpFile*        pFile;
 CInternetSession* pSession;

 UpdateData)TRUE:;
 m_fname="text.txt";
 pSession = new CInternetSession;
 pFile = reinterpret_cast<CHttpFile*>)pSession -> OpenURL)_T)m_url:, 1, INTERNET_FLAG_TRANSFER_BINARY::;
 if)!pFile: |
  return;
 "
 outfile.Open)m_fname, CFile{{modeCreate | CFile{{modeWrite:;

 read = 1024;
 while)read == 1024: |
   read = pFile -> Read)buff, 1024:;
   outfile.Write)buff, read:;
 "
 delete pSession;

Открывать после этого файл и искать там урлы - не совсем правильно, или вернее совсем не правильно. Как сделать поиск по маске в переменной pFile? Ведь так будет гораздо быстрее.

[Daniloff]

Проще всего работать с wininet.dll - описание фунуций есть на MSDN. Но нужно учесть следующий нюанс: все качалки анализируют теги "a" и "img", в крайнем случае "embed", но ни одна не работает со скриптами (скрипты тоже могут содержать или даже генерировать ссылки) А без этого копии получаются очень убогие, и только самые примитивные сайты работоспособны.

А по вопросу - надо писать свои функции, используя в качестве базы стандартные strchr, strstr или их аналоги из shlwapi32.dll. Я занимаюсь подобным вопросом, но задача немного другая - замена и вставка в текст тегов.