Что бывает при частом открытии и закрытии файла

[Daniloff]

Думаю, сей факт кому-нибудь пригодится.
Сделал hook для перехвата стандартных функций API, и моя программа открывает текстовый файл, позиционирует указатель на конец файла и пишет туда строку (ведет лог). Поскольку одновременно в памяти может находиться несколько процессов, использующих контролируемую функцию, каждый раз приходится закрывать файл и открывать его снова. Оказалось, что такое решение очень сильно расходует системные ресурсы. Когда файл лога небольшой - все нормально, а когда он подходит к мегабайту - начинаются тормоза. Плюс антивирус свою толику добавляет - каждый раз проверяет открываемый файл. А циклов открытие-запись-закрытие может быть несколько десятков в секунду!
В результате task manager показывает 100%-ную загруженность процессора системой.
(Файловая система, судя по всему, позиционирует на конец файла не мгновенно!)

[Алексей++]

Daniloff, дык... храни и обрабатывай файл в памяти и сохраняй не чаще , скажем, раза в 1 с )

[Антон (LogRus)]

Daniloff, нажо было функцию записи в файл защитить объектом синхронизации.
Или используй сторонние библиотеки на вроде LogForCPP.

Кстати попробуй ты проделать этот фокус на Linux ты бы имел все шансы получить не файл, а мусор, т.к. в Linux нельзя монопольно открыть файл на запись.

[npak]

Что делать - разработчики файловой системы всегда рассчитывают на более-менее средний случай.  А в среднем один файл открывается/закрывается не очень быстро.

Кстати, Винда в этом не одинока. Мы на Линуксе столкнулись с аналогичной проблемой - наш генератор тестов в своей начальной версии в секунду выдавал несколько сотен тестов. Каждый тест - небольшой файл. Получался аналогичный цикл "создать файл - записать сотню байт - закрыть файл".  Подавляющая доля CPU расходовалась на файловый ввод-вывод.

[Daniloff]

оказалось, все-таки зачительная доля тормозов - вина антивируса. Без него практически не виснет.
Сейчас делаю сервис, которому данные для протоколирования будут передаваться через канал.