Форум программистов «Весельчак У»
  *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

  • Рекомендуем проверить настройки временной зоны в вашем профиле (страница "Внешний вид форума", пункт "Часовой пояс:").
  • У нас больше нет рассылок. Если вам приходят письма от наших бывших рассылок mail.ru и subscribe.ru, то знайте, что это не мы рассылаем.
   Начало  
Наши сайты
Помощь Поиск Календарь Почта Войти Регистрация  
 
Страниц: [1]   Вниз
  Печать  
Автор Тема: Пропарсить ASP-адреса  (Прочитано 12614 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Andr_Kry
Гость
« : 18-10-2006 11:31 » 

Подскажите новичку как подступиться к проблеме.
"Вопрос чайницкий".
==============
Есть официальная статистическая база данных ООН по международной торговле.
http://unstats.un.org/unsd/comtrade/
Она выдает данные по запросу пользователя, в котором надо указать страну, осуществляющую импорт или экспорт, наименование товара, год.
после чего скрипт выводит результат.
Адресная строка хтмл-страницы выглядит так:
http://unstats.un.org/unsd/comtrade/dqBasicQueryResults.aspx?px=H0&cc=XX&r=YYY&y=ZZZZ
где
XX - уникальный код товара (например, сталь, мясо, автомашины и т.п.)
YYY - уникальный код страны
ZZZZ - год в стандартном формате (с 1960 по 2005)

Например,
http://unstats.un.org/unsd/comtrade/dqBasicQueryResults.aspx?px=H0&cc=72&r=392&y=1988
(Это японский экспорт/импорт железа и стали за 1988)
Запрос позволяет получить за один раз данные ТОЛЬКО по одной стране, по одному виду товара и за один год.

ВОПРОС.
Как автоматизировать получение данных, чтобы не запрашивать вручную данные для каждого отельно взятого года, товара и страны ?

Записан
Mouse
Молодой специалист

ru
Offline Offline

« Ответ #1 : 18-10-2006 11:46 » 

Цитата
It's not possible to have direct download if the records are more than 150,000. You could split the query and make multiple downloads within the limits or you could submit the query to batch processing and retrieve it later or you could contact us for ordering the data

Полностью инфа тут
http://unstats.un.org/unsd/comtrade/dqBasicQueryResults.aspx?y=2000&px=H0&r=24,%20660,%20392&so=9999&qt=n
« Последнее редактирование: 17-12-2007 05:05 от Алексей1153++ » Записан
RomCom
Опытный

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #2 : 19-10-2006 07:48 » 

Если очень надо то можно сделать програмку.
но необходимо:
1) автоматизировать прохождение странички "Readme First"
2) поиграться с куками и HTTP_REFERER т.к. там какието навороты с ними
3) кочать данные в xml формате ("SDMX Download")
« Последнее редактирование: 20-10-2006 06:40 от RomCom » Записан

R.O.M.C.O.M.: Robotic Operational Mathematics and Ceaseless Observation Machine
Andr_Kry
Гость
« Ответ #3 : 19-10-2006 16:30 » 

Уважаемый Mouse пишет: "Полностью инфа тут"
http://unstats.un.org/unsd/comtrade/ dqBasicQueryResults.aspx?y=2000&px=H0&r=24,%20660,%20392&so=9999&qt=n
В том-то и дело, что нет. Там есть указание, что мол целиком она вся весит 37 мб. Но скачать ее нельзя.
Если б можно было - о чем бы тогда речь!
Там только ссылка битая идет на "contact us" пожалуйста, мол если вы хотите... а дальше - url not found.
Если поможете "соварить програмку" или скриптик какой-нить, буду дико благодарен. А если не с руки или времени нет, то подскажите чо лучше почитать, чтобы самому быстро въехать. (В общих чертах я с хтмл знаком, простенькие сайты делал, а глубже не копал.)
=========
Всем заранее спасибо.
Записан
Mouse
Молодой специалист

ru
Offline Offline

« Ответ #4 : 20-10-2006 06:28 » new

Andr_Kry, там ясно написано, что сервер не выдаст тебе набор данных более чем с 150,000 строк. Так что за один раз ты их не скачаешь как обычный клиент. Если данные очень нужны, то у тебя есть два пути:
1. Пройти по ссылке http://unstats.un.org/unsd/contactus.htm и все-таки связаться с ними, о чем уже писалось выше. Раз они сами так рекомендуют делать, то я бы поступил именно так;
2. Написать программу, которая дергает данные частями а потом собирает в одно место. Насколько я понимаю, RomCom тебе об этом говорил. Программа и правда несложная, нужно только достать все возможные параметры запросов, чтобы покрыть всю их базу данных. И надо быть готовым к тому, что ответы приходят в текстовом виде и придется все это парсить. Короче, сам можешь оценить трудоемкость.

Мой совет - связаться с ними и вежливо попросить. Мне кажется, коль скоро они сами предлагают, то проблем тут не должно быть. Удачи Улыбаюсь
Записан
RomCom
Опытный

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #5 : 20-10-2006 08:03 » 

Andr_Kry, если совсем на коленках...то во влажении
написано на Microsoft Visual Studio 2005. т.е. заточена под FW .Net

* Program.zip (10.69 Кб - загружено 1096 раз.)
Записан

R.O.M.C.O.M.: Robotic Operational Mathematics and Ceaseless Observation Machine
Andr_Kry
Гость
« Ответ #6 : 21-10-2006 10:47 » 

Всем спасибо за помощь и подсказки.
Программу сегодня же опробую.
Последний маленький вопрос. Если хочу разобраться в "парсенье" адресов и подобных штуках, то чо лучше почитать, порекомендуйте.
Еще раз спасибо.
Записан
Страниц: [1]   Вверх
  Печать  
 

Powered by SMF 1.1.21 | SMF © 2015, Simple Machines