Просмотр и анализ логфайлов

[sss]

Анализатор логфайлов.

Зачем.

Для анализа больших лог файлов. Вначале описывается лог файл
 (разделитель, количество полей и их тип). Затем, на основе этой информации, лог типизируется и отображается в таблицу. После этого возможно применять сложные фильтры.

Правила работы:

1. Открыть определения полей.
2. Открыть файл статистики.
3. Пользоваться.

Примечания:
a) Для создания определений полей, использовать редактор  определений полей в меню "инструменты"
b) Для примера в архиве лежит лог файл inet0906.log и файл определения полей sssnimf.lfd
c) Дерево анализа работает только если одно из полей типизированно как числовое

PS: Пришлось разбить сам анализатор на 4 части.


Обновление здесь: https://forum.shelek.ru/index.php/topic,9665.msg277078.html#msg277078


Добавлено через 1 день, 2 часа, 37 минут и 10 секунд:
Архив Ч1.

Добавлено через 32 секунды:
Архив Ч2

Добавлено через 24 секунды:
Архив Ч3

Добавлено через 28 секунд:
Архив Ч4

[Антон (LogRus)]

sss, а что умеет кроме расплывчатого "анализирует", пишет данные в БД, excel, csv или други формы таблиц удобные для построения всяких графиков и подсовывыния в аналитические пакеты?

мне в большенстве случаев было достаточно связки python+bash+awk или комбинаций

[sss]

Никуда не сохраняет. Мне нужен был инструмент для быстрого (!)анализа логов, число строк которого больше 100000.

[Антон (LogRus)]

sss, тогда другой вопрос анализ это, что? т.е. некий набор методов даёт возможность, разобрать лог и представить его ввиде некоего контейнера? и потом этот контейнер можно прикрутить к любой другой софтине?

Добавлено через 4 минуты и 40 секунд:
sss, посмотрел прикольно )) отдам я это дело сотрудникам смежного отдела им пригодится. )) они любят логи анализировать )
респект тебе

[sss]

Спасибо. Оно конечно сыровато. Но я поотвечаю если что...
 


Добавлено через 10 минут и 2 секунды:
И еще слово: программа создавалась в изначале для анализа логов ISA Server. Т.е. под это дело в принципе и заточено...

[Антон (LogRus)]

это я заметил

[sss]

Произвел замену кусков архива. Была досадная ошибка при указании нескольких текстовых фильтров через системный разделитель.

[sss]

Привет всем.

в общем есть версия той же программы с исправленными ошибками и дополнительными возможностями. Решил выложить в последний день года, так как проект далеко не умер и используется мной для анализа траффика  сети управляемой ISA 2006. Хотя в принципе предназначен для анализа логов любых серверов ведущих статистику в виде текстовых файлов..


С Новым Годом друзья!



Добавлено через 2 минуты и 4 секунды:
part 2 of  4

Добавлено через 27 секунд:
part 3 of 4

Добавлено через 33 секунды:
part 4 of 4

[sss]

Привет всем.

Давно не писал ничего здесь. Выкладываю новую версию анализатора логов. Учитывая критику модераторов
об недостаточности документирования, подготовил файл с описанием работы и методов работы с программой.

Программа предназначена для быстрого анализирования группы одинаковых лог файлов большого объёма и
имеет возможность работы на лету с файлом лога изменяющимся в реальном времени. Будет полезна (наверное)
системным администраторам систем Microsoft Windows имеющим серверные программы или службы, ведущие
журналы в логфайлах текстового формата. В основном разрабатывается и применяется мной как дополнительный
инструмент для работы с журналами Microsoft ISA Server 2006 (c) Microsoft Corporation, но может применяться и
применяется для других приложений.

Скомпилирована 32 битным компилятором CBuilder из состава Borland Developer Studio 2006 без
использования дополнительных библиотек, однако из-за ссылок на библиотеки dll, минимально допустимой ОС
является Windows 2000.

Описание вложений:

1) logvr_doc.rar
    файл logvr.pdf с описанием (792 257).

2) logvr.rar
    файл анализатора logvr.exe ( 1 845 248) и примером проекта _isa2006_fw.lfd (2 402).

3) ISALOG_20120105_FWS_000.rar
    файл журнала межсетевого экрана ISA 2006 ISALOG_20120105_FWS_000.iis (16 886 711)
    используемый в примерах.

4) logvr.jpg
    картинка для демонстрации

Удачи!

[RXL]

sss, а можно тут вкратце рассказать, на каких ОС и их версиях работает, какой дополнительный софт требуется, общие возможности и т.п.? Это ведь существенно удобнее для быстрого ознакомления (и для поиска!), чем доки в архивах.

[sss]

RXL, ok, добавил.