Что ограничивает скорость записи данных на диск?

[Артем]

День/вечер добрый.

ВОПРОС:
 от чего зависет скорость записи данных на диск?

ПОЯСНЕНИЕ:
  Есть программа сбора данных. Эта программа получает данные по Ethernet, показывает их в графическом виде и пишет на диск. Есть возможность просто выводить данные на экран, и можно писать данные без вывода на экран.
 Если просматривать данные без записи на диск--все хорошо: принимаются и отображаются все данные. Если же включить запись на диск, то часть данных теряется (скорее всего не успевают считаться пакеты из карточки).
  НО, если я этот же хард (через переходник) подключаю к USB, то одновременная запись и отображение происходят без потери данных.

[RXL]

Артем, а эти ethernet данные ты получаешь "нормальным" путем, или всю сетку слушаешь?

[Dimka]

Блочная запись придумана давно и не менее давно зарекомендовала свою эффективность для подобных случаев. Лучше всего создать достаточно ёмкую очередь и с одного конца пополнять её данными из сетки, а с другого блоками писать на диск, очищая очередь и делать это параллельно двумя потоками. А ёмкость очереди и размер блока подобрать таким образом, чтобы потоку пополнения очереди никогда не приходилось ждать потока очистки очереди для самого медленного девайса, обратное ожидание допустимо.

Кстати, в классическом PC вывод на экран заведомо медленнее вывода на диск.

Вышесказанное относится к "своей" программе, а не чьей-то сторонней.

[Артем]

Артем, а эти ethernet данные ты получаешь "нормальным" путем, или всю сетку слушаешь?

Не очень понял вопрос. Что значит "слушать всю сетку"?
А пакеты у меня UDP-шные, и обрабатываю их по своему порту...

Лучше всего создать достаточно ёмкую очередь и с одного конца пополнять её данными из сетки, а с другого блоками писать на диск, очищая очередь и делать это параллельно двумя потоками. А ёмкость очереди и размер блока подобрать таким образом, чтобы потоку пополнения очереди никогда не приходилось ждать потока очистки очереди для самого медленного девайса, обратное ожидание допустимо.

Я, может не совсем точно описал проблему: все данные, которые доходят до программы, на диск попадают. Тут все верно. Другое дело, что при использовании "обыкновенного" харда, при этом начинают теряться "пакеты", а при использовании харда через USB такого не происходит...

 т.е. такое ощущение, будто в первом случае запись на диск "съедает" больше ресурсов, чем во втором (и похоже, что из-за этого в первом случае я не успеваю "выгребать" пакеты из сетевой карточки, и они теряются ). Почему? Как это исправить?

[Dimka]

ну не верю я, что запись на обычный диск медленее вывода на экран, чтобы что-то терялось - баг в другом месте.

а ты уверен, что на диске достаточно места? сетевые логи - дело большое, бывает, что за секунды мегабайты набегают.

кстати, обычный хард не 1990 года выпуска, случаем?

[Серж]

Артем, без сомнения, что-то с алгоритмом записи на диск. Может быть, буфера маловаты или отключен дисковый кэш (что, конечно, мало вероятно, но возможно).

[RXL]

Артем, под "слушаешь сетку" я имел в виду захват всего трафика сети, а не только того, что предназначалось твоей машине.

[Артем]

ну не верю я, что запись на обычный диск медленее вывода на экран, чтобы что-то терялось - баг в другом месте.

 
запись на диск, похоже, проходит с более высоким приоритетом. и из-за нее я похоже не успеваю читать из сетевой карты. Такое может быть?
А все что прога пытатся записать на диск, все записывается успешно.

а ты уверен, что на диске достаточно места? сетевые логи - дело большое, бывает, что за секунды мегабайты набегают.

уверен . Там под потребности этой проги почти сотня гигов отведена...