Пропарсить ASP-адреса

[Andr_Kry]

Подскажите новичку как подступиться к проблеме.
"Вопрос чайницкий".
==============
Есть официальная статистическая база данных ООН по международной торговле.
http://unstats.un.org/unsd/comtrade/
Она выдает данные по запросу пользователя, в котором надо указать страну, осуществляющую импорт или экспорт, наименование товара, год.
после чего скрипт выводит результат.
Адресная строка хтмл-страницы выглядит так:
http://unstats.un.org/unsd/comtrade/dqBasicQueryResults.aspx?px=H0&cc=XX&r=YYY&y=ZZZZ
где
XX - уникальный код товара (например, сталь, мясо, автомашины и т.п.)
YYY - уникальный код страны
ZZZZ - год в стандартном формате (с 1960 по 2005)

Например,
http://unstats.un.org/unsd/comtrade/dqBasicQueryResults.aspx?px=H0&cc=72&r=392&y=1988
(Это японский экспорт/импорт железа и стали за 1988)
Запрос позволяет получить за один раз данные ТОЛЬКО по одной стране, по одному виду товара и за один год.

ВОПРОС.
Как автоматизировать получение данных, чтобы не запрашивать вручную данные для каждого отельно взятого года, товара и страны ?

[Mouse]

It's not possible to have direct download if the records are more than 150,000. You could split the query and make multiple downloads within the limits or you could submit the query to batch processing and retrieve it later or you could contact us for ordering the data

Полностью инфа тут
http://unstats.un.org/unsd/comtrade/dqBasicQueryResults.aspx?y=2000&px=H0&r=24,%20660,%20392&so=9999&qt=n

[RomCom]

Если очень надо то можно сделать програмку.
но необходимо:
1) автоматизировать прохождение странички "Readme First"
2) поиграться с куками и HTTP_REFERER т.к. там какието навороты с ними
3) кочать данные в xml формате ("SDMX Download")

[Andr_Kry]

Уважаемый Mouse пишет: "Полностью инфа тут"
http://unstats.un.org/unsd/comtrade/ dqBasicQueryResults.aspx?y=2000&px=H0&r=24,%20660,%20392&so=9999&qt=n
В том-то и дело, что нет. Там есть указание, что мол целиком она вся весит 37 мб. Но скачать ее нельзя.
Если б можно было - о чем бы тогда речь!
Там только ссылка битая идет на "contact us" пожалуйста, мол если вы хотите... а дальше - url not found.
Если поможете "соварить програмку" или скриптик какой-нить, буду дико благодарен. А если не с руки или времени нет, то подскажите чо лучше почитать, чтобы самому быстро въехать. (В общих чертах я с хтмл знаком, простенькие сайты делал, а глубже не копал.)
=========
Всем заранее спасибо.

[Mouse]

Andr_Kry, там ясно написано, что сервер не выдаст тебе набор данных более чем с 150,000 строк. Так что за один раз ты их не скачаешь как обычный клиент. Если данные очень нужны, то у тебя есть два пути:
1. Пройти по ссылке http://unstats.un.org/unsd/contactus.htm и все-таки связаться с ними, о чем уже писалось выше. Раз они сами так рекомендуют делать, то я бы поступил именно так;
2. Написать программу, которая дергает данные частями а потом собирает в одно место. Насколько я понимаю, RomCom тебе об этом говорил. Программа и правда несложная, нужно только достать все возможные параметры запросов, чтобы покрыть всю их базу данных. И надо быть готовым к тому, что ответы приходят в текстовом виде и придется все это парсить. Короче, сам можешь оценить трудоемкость.

Мой совет - связаться с ними и вежливо попросить. Мне кажется, коль скоро они сами предлагают, то проблем тут не должно быть. Удачи

[RomCom]

Andr_Kry, если совсем на коленках...то во влажении
написано на Microsoft Visual Studio 2005. т.е. заточена под FW .Net

[Andr_Kry]

Всем спасибо за помощь и подсказки.
Программу сегодня же опробую.
Последний маленький вопрос. Если хочу разобраться в "парсенье" адресов и подобных штуках, то чо лучше почитать, порекомендуйте.
Еще раз спасибо.