Менеджер памяти Linux

[Rulik]

Наткнулся на такую проблемку:
Есть однопоточный сервер, он накапливает инфу (порядка 700 Мб).
Все замечательно, до того момента, когда происходит сброс этих данных и очистка массивов.
При очистке данные удаляються, но память системе не возвращаеться, т.е. top показывает, что процесс весит 700Мб.

При повторном заполнении объем памяти не растет.
Прогонял через ValGrind и DMALLOC, утечек не обнаружено.

Вот и немогу понять, как вернуть память. Т.к. админы начинают поднимать панику.

Буду рад любой помощи.

[Алексей++]

наверное, надо показывать код - как выделяется память, как очищается )

[Вад]

Rulik, я по схожей причине по неопытности удивлялся, почему у меня куча памяти процессу отдаётся при совершении дисковых операций. Как оказалось, она просто используется при кэшировании при отсутствии других задач. Когда же требуется под динамическое выделение другому приложению, то размер кэша операций сокращается.
Может, и здесь тот же случай, память резервируется для быстрого доступа за данным процессом, а при потребностях в памяти у других задач будет происходить освобождение памяти из резерва? Конечно, это моё предположение, я лишь в некоторых моментах знаком с фичами менеджера памяти в Linux, но если не прав - кто-нибудь поправит

В качестве идеи по быстрой проверке этого предположения: сделать тестик, который будет просто выделять много памяти. И запустить его после удаления массивов в твоём сервере, посмотреть, что будет

[Rulik]

Код к сожалению показать не могу (жесткое соглашение о неразглашении, т.к. много бизнеслогики (биржевой сервер)).

Есть ли способ принудительно скинуть эту память?
Просто паника подымаеться по этому вопросу, типа сервак спит, а памяти жрет немерено. (ну привык народ к Win серверам).

Linux действительно кэширует блоки памяти при достаточном количестве свободной (описано в Linux Kernel автора и точное название не помню, при желании могу разрыть). Но хотелось бы ее немедленно вернуть.

Я конечно понимаю, что не показывая код, не культурно просить помощи.
Потому и хочу спросить как гарантированно вернуть память системе.

Память не течет. Сервак работает стабильно и набирая данные доходит до 700Мб и дальше не потребляет память, при этом обрабатывая до 80000 запросов в сек.

Сервак однопоточный.

[Вад]

Я вот сейчас не вспомню, но разве линуксовые утилиты не показывают отдельно объём зарезервированной памяти (отдельно от используемой)? Да и просто, если есть возможность убедить тем же тестом тех, кто паникует, что сервер память не жрёт, а просто резервирует, мол, фича такая у платформы - то, думаю, не стоит искать способы возврата этой памяти насильственно из резерва (хотя не знаю, можно ли это )

Точно помню, что top показывает процент памяти, фактически используемый приложением. free, кажется, зарезервированную под кэш память тоже отделяет от свободной и занятой.

[McZim]

Rulik, может посмотреть в сторону struct mem_control_block ?

[Rulik]

Написал тест, который в бесконечном цикле выделяет память, в итоге у меня память уменьшилась в 10 раз. Что говорит о присутствии кэша.
Но хотелось бы скидывать кэши из своей программы.

[Вад]

Rulik, всё-таки, в этом есть какая-то потребность, кроме душевного спокойствия о том, что память полностью свободна? В системе ведь не зря этот механизм реализован

[RXL]

Очень рекомендую читать документацию. Первым делом всем смотреть pinfo libc !

3.2.2.8 Malloc Tunable Parameters
.................................

You can adjust some parameters for dynamic memory allocation with the
`mallopt' function.  This function is the general SVID/XPG interface,
defined in `malloc.h'.

 -- Function: int mallopt (int PARAM, int VALUE)
     When calling `mallopt', the PARAM argument specifies the parameter
     to be set, and VALUE the new value to be set.  Possible choices
     for PARAM, as defined in `malloc.h', are:

    `M_TRIM_THRESHOLD'
          This is the minimum size (in bytes) of the top-most,
          releasable chunk that will cause `sbrk' to be called with a
          negative argument in order to return memory to the system.

    `M_TOP_PAD'
          This parameter determines the amount of extra memory to
          obtain from the system when a call to `sbrk' is required.  It
          also specifies the number of bytes to retain when shrinking
          the heap by calling `sbrk' with a negative argument.  This
          provides the necessary hysteresis in heap size such that
          excessive amounts of system calls can be avoided.

    `M_MMAP_THRESHOLD'
          All chunks larger than this value are allocated outside the
          normal heap, using the `mmap' system call.  This way it is
          guaranteed that the memory for these chunks can be returned
          to the system on `free'.  Note that requests smaller than
          this threshold might still be allocated via `mmap'.

    `M_MMAP_MAX'
          The maximum number of chunks to allocate with `mmap'.
          Setting this to zero disables all use of `mmap'.

В начале программы устанавливаем нужные опции и получаем нужный эффект.
Внимание! Если перестараться, то скорость работы malloc может замедлиться, т.к. куча будет вечно пустая.

Сам столкнулся 4 года назад с такой же проблемой. Программа собирала статистику в БД. Кушала мало, т.к. регулярно сбрасывала буфера в БД, но когда шла обработка накопленной информации, то база на несколько минут могла подвиснуть и размеры буферов росли, а память системе не возвращалась. Естественно, полез читать libc...

[Rulik]

RXL, мой респект тебе.
Сейчас попробую. Спасибо за совет. А то уж думал, что ни как нельзя управлять этим процессом.