Форум программистов «Весельчак У»
  *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

  • Рекомендуем проверить настройки временной зоны в вашем профиле (страница "Внешний вид форума", пункт "Часовой пояс:").
  • У нас больше нет рассылок. Если вам приходят письма от наших бывших рассылок mail.ru и subscribe.ru, то знайте, что это не мы рассылаем.
   Начало  
Наши сайты
Помощь Поиск Календарь Почта Войти Регистрация  
 
Страниц: [1]   Вниз
  Печать  
Автор Тема: Проблема с gzip под Solaris при работе по cron  (Прочитано 15104 раз)
0 Пользователей и 1 Гость смотрят эту тему.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« : 10-05-2006 05:46 » 

$ uname -a
SunOS orion 5.9 Generic_118558-09 sun4u sparc SUNW,Ultra-250

$ gzip --version
gzip 1.3
(1999-12-21)


По cron запускается shell-скрипт, выполняющий экспорт из базы Oracle и затем архивирующий дамп. По непонятной причине, время от времени, получившийся архив не распознается gzip-ом. Тот же исходный файл, сжатый с теми же (только -9) параметрами руками (под тем же пользователем), получается полноценным gzip-архивом.

Кто-нибудь сталкивался с таким поведением?
« Последнее редактирование: 10-05-2006 05:48 от RXL » Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #1 : 18-05-2006 06:20 » 

Вот кусок шеловского скрипта:

#!/sbin/sh

echo '(start) ' `date`

cd $HOME
. ./.profile
cd /u03/backup/exp/
MD=`date '+%m_%y'`
DD=`date '+%d_%m'`
mkdir -p $MD/$DD
cd $MD/$DD

exp user/pass@server owner=users_list log=export.log file=export.dmp  direct=y

echo '(export completed) ' `date`

gzip -9 export.dmp

echo '(dump archived) ' `date`

gzip -t export.dmp.gz

echo '(finish) ' `date`


Дальнейшие тесты показали, что gzip не виноват - bzip2 то же создает некоректный архив. Руками то же самое исполняется на ура и с gzip и с bzip2.

Значит дело в экспортере оракла.
Версия экспортера - Release 9.2.0.6.0

Размер дампа около 2.5ГБ, gz - 400МБ, bz2 - 300МБ.
« Последнее редактирование: 19-12-2007 21:47 от Алексей1153++ » Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
Sla
Модератор

ua
Offline Offline
Пол: Мужской

WWW
« Ответ #2 : 18-05-2006 07:42 » 

с импортом-экспортом у оракла всегда была проблема, эт лучше тебе не сюда. на sql.ru там монстры захаживают
Записан

Мы все учились понемногу... Чему-нибудь и как-нибудь.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #3 : 18-05-2006 08:27 » 

Sla, спасибо - роюсь, но что-то пока не вижу...

Логика подсказывает, что после завершения процесса exp в файл дампа продолжается запись.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
Sla
Модератор

ua
Offline Offline
Пол: Мужской

WWW
« Ответ #4 : 18-05-2006 08:44 » 

я могу посоветовать только попробывать это сделать в потоке
даже если продолжается запись в файл то зипу с самого начала пофигу какой размер файла и идет в него запись или нет,
тем более что размер файла более 2Г

Записан

Мы все учились понемногу... Чему-нибудь и как-нибудь.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #5 : 18-05-2006 10:27 » 

Sla, логично. Я об том же подумал. С другой стороны, чтение из файла ничем не отличается чтением из stdin. Разве что размер заранее не известен.
Жаль только места на диске для экспериментов нет и сервер нагружен. Ночью он 2.5 часа упаковывает, а днем 3-4.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
Sla
Модератор

ua
Offline Offline
Пол: Мужской

WWW
« Ответ #6 : 18-05-2006 10:55 » 

а зачем ты делаешь экспорт?
делай бекап инкрементный
а экспорт и импорт нужно делать только в крайних случаях (так меня учили; знаю что неправильно учили)
при переходе с одной версии на другую, для дефрагментации базы и т.д. А для хранения бекап
Записан

Мы все учились понемногу... Чему-нибудь и как-нибудь.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #7 : 18-05-2006 11:05 » 

Sla, это заведено было не мной. Я то пока в оракле чайник...
« Последнее редактирование: 18-05-2006 11:18 от RXL » Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
Sla
Модератор

ua
Offline Offline
Пол: Мужской

WWW
« Ответ #8 : 18-05-2006 12:00 » 

Это дело надо ломать
я в оракле то же не очень того... но 4 года его поддержки, при условии полного сопротивления "опытного начальника", опыт хоть какой-то
Записан

Мы все учились понемногу... Чему-нибудь и как-нибудь.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #9 : 19-05-2006 05:26 » 

Цитата
bzip2: export.dmp.bz2: bad magic number (file not created by bzip2)
Забавное дело. Я тут помозговал немного... Если бы дамп был плохой (изменялся по ходу компресии), то выходной файл независим от него и должен иметь нормальный формат. Загадка...
Когда разберусь, непременно напишу из-за чего все было.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
Sla
Модератор

ua
Offline Offline
Пол: Мужской

WWW
« Ответ #10 : 19-05-2006 06:04 » 

интересненько Улыбаюсь
а ты заголовок файла смотрел?
а если подождать после експорта минут 5?
и как я тебя понимаю, вся эта фигня делается ночью, раз в сутки остается только посочувствовать
смотри в сторону бекапа
Записан

Мы все учились понемногу... Чему-нибудь и как-нибудь.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #11 : 19-05-2006 06:31 » 

Бекап то же выполняется, но раз в неделю.
Пробовал только добавлять sleep 60.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #12 : 26-06-2006 05:24 » new

Проблема полностью решена - пауза на пол часа. За месяц ни одного сбоя.
Дурит значит exp.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
Страниц: [1]   Вверх
  Печать  
 

Powered by SMF 1.1.21 | SMF © 2015, Simple Machines