Форум программистов «Весельчак У»
  *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

  • Рекомендуем проверить настройки временной зоны в вашем профиле (страница "Внешний вид форума", пункт "Часовой пояс:").
  • У нас больше нет рассылок. Если вам приходят письма от наших бывших рассылок mail.ru и subscribe.ru, то знайте, что это не мы рассылаем.
   Начало  
Наши сайты
Помощь Поиск Календарь Почта Войти Регистрация  
 
Страниц: [1]   Вниз
  Печать  
Автор Тема: Просмотр и анализ логфайлов  (Прочитано 51363 раз)
0 Пользователей и 1 Гость смотрят эту тему.
sss
Специалист

ru
Offline Offline

« : 04-09-2006 03:21 » 

Анализатор логфайлов.

Зачем.

Для анализа больших лог файлов. Вначале описывается лог файл
 (разделитель, количество полей и их тип). Затем, на основе этой информации, лог типизируется и отображается в таблицу. После этого возможно применять сложные фильтры.

Правила работы:

1. Открыть определения полей.
2. Открыть файл статистики.
3. Пользоваться.

Примечания:
a) Для создания определений полей, использовать редактор  определений полей в меню "инструменты"
b) Для примера в архиве лежит лог файл inet0906.log и файл определения полей sssnimf.lfd
c) Дерево анализа работает только если одно из полей типизированно как числовое

PS: Пришлось разбить сам анализатор на 4 части.


Обновление здесь: https://forum.shelek.ru/index.php/topic,9665.msg277078.html#msg277078


Добавлено через 1 день, 2 часа, 37 минут и 10 секунд:
Архив Ч1.

Добавлено через 32 секунды:
Архив Ч2

Добавлено через 24 секунды:
Архив Ч3

Добавлено через 28 секунд:
Архив Ч4

* logsssview.part01.rar (128 Кб - загружено 1205 раз.)
* logsssview.part02.rar (128 Кб - загружено 1230 раз.)
* logsssview.part03.rar (128 Кб - загружено 1197 раз.)
* logsssview.part04.rar (109.24 Кб - загружено 1203 раз.)
« Последнее редактирование: 13-03-2012 06:54 от RXL » Записан

while (8==8)
Антон (LogRus)
Глобальный модератор

ru
Offline Offline
Пол: Мужской
Внимание! Люблю сахар в кубиках!


WWW
« Ответ #1 : 04-09-2006 05:26 » 

sss, а что умеет кроме расплывчатого "анализирует", пишет данные в БД, excel, csv или други формы таблиц удобные для построения всяких графиков и подсовывыния в аналитические пакеты?

мне в большенстве случаев было достаточно связки python+bash+awk или комбинаций
Записан

Странно всё это....
sss
Специалист

ru
Offline Offline

« Ответ #2 : 04-09-2006 05:36 » 

Никуда не сохраняет. Мне нужен был инструмент для быстрого (!)анализа логов, число строк которого больше 100000.
Записан

while (8==8)
Антон (LogRus)
Глобальный модератор

ru
Offline Offline
Пол: Мужской
Внимание! Люблю сахар в кубиках!


WWW
« Ответ #3 : 04-09-2006 05:53 » 

sss, тогда другой вопрос Улыбаюсь анализ это, что? т.е. некий набор методов даёт возможность, разобрать лог и представить его ввиде некоего контейнера? и потом этот контейнер можно прикрутить к любой другой софтине?

Добавлено через 4 минуты и 40 секунд:
sss, посмотрел прикольно Улыбаюсь)) отдам я это дело сотрудникам смежного отдела им пригодится. Улыбаюсь)) они любят логи анализировать Улыбаюсь)
респект тебе Улыбаюсь
« Последнее редактирование: 04-09-2006 05:57 от LogRus » Записан

Странно всё это....
sss
Специалист

ru
Offline Offline

« Ответ #4 : 04-09-2006 06:08 » 

Спасибо. Оно конечно сыровато. Но я поотвечаю если что...
 


Добавлено через 10 минут и 2 секунды:
И еще слово: программа создавалась в изначале для анализа логов ISA Server. Т.е. под это дело в принципе и заточено...
« Последнее редактирование: 04-09-2006 06:18 от sss » Записан

while (8==8)
Антон (LogRus)
Глобальный модератор

ru
Offline Offline
Пол: Мужской
Внимание! Люблю сахар в кубиках!


WWW
« Ответ #5 : 04-09-2006 06:29 » 

это я заметил Улыбаюсь
Записан

Странно всё это....
sss
Специалист

ru
Offline Offline

« Ответ #6 : 05-09-2006 03:24 » 

Произвел замену кусков архива. Была досадная ошибка при указании нескольких текстовых фильтров через системный разделитель.
Записан

while (8==8)
sss
Специалист

ru
Offline Offline

« Ответ #7 : 31-12-2008 06:45 » 

Привет всем.

в общем есть версия той же программы с исправленными ошибками и дополнительными возможностями. Решил выложить в последний день года, так как проект далеко не умер и используется мной для анализа траффика  сети управляемой ISA 2006. Хотя в принципе предназначен для анализа логов любых серверов ведущих статистику в виде текстовых файлов..


С Новым Годом друзья!



Добавлено через 2 минуты и 4 секунды:
part 2 of  4

Добавлено через 27 секунд:
part 3 of 4

Добавлено через 33 секунды:
part 4 of 4

* logvr.part01.rar (300 Кб - загружено 1192 раз.)
* logvr.part02.rar (300 Кб - загружено 1132 раз.)
* logvr.part03.rar (300 Кб - загружено 1267 раз.)
* logvr.part04.rar (32.31 Кб - загружено 1174 раз.)
« Последнее редактирование: 31-12-2008 06:48 от sss » Записан

while (8==8)
sss
Специалист

ru
Offline Offline

« Ответ #8 : 12-03-2012 09:20 » 

Привет всем.

Давно не писал ничего здесь. Выкладываю новую версию анализатора логов. Учитывая критику модераторов
об недостаточности документирования, подготовил файл с описанием работы и методов работы с программой.

Программа предназначена для быстрого анализирования группы одинаковых лог файлов большого объёма и
имеет возможность работы на лету с файлом лога изменяющимся в реальном времени. Будет полезна (наверное)
системным администраторам систем Microsoft Windows имеющим серверные программы или службы, ведущие
журналы в логфайлах текстового формата. В основном разрабатывается и применяется мной как дополнительный
инструмент для работы с журналами Microsoft ISA Server 2006 (c) Microsoft Corporation, но может применяться и
применяется для других приложений.

Скомпилирована 32 битным компилятором CBuilder из состава Borland Developer Studio 2006 без
использования дополнительных библиотек, однако из-за ссылок на библиотеки dll, минимально допустимой ОС
является Windows 2000.




Описание вложений:

1) logvr_doc.rar
    файл logvr.pdf с описанием (792 257).

2) logvr.rar
    файл анализатора logvr.exe ( 1 845 248) и примером проекта _isa2006_fw.lfd (2 402).

3) ISALOG_20120105_FWS_000.rar
    файл журнала межсетевого экрана ISA 2006 ISALOG_20120105_FWS_000.iis (16 886 711)
    используемый в примерах.

4) logvr.jpg
    картинка для демонстрации

Удачи!

* logvr_doc.rar (753.21 Кб - загружено 1041 раз.)
* logvr.rar (563.05 Кб - загружено 906 раз.)
* ISALOG_20120105_FWS_000.rar (446.32 Кб - загружено 927 раз.)
* logvr.jpg (93.28 Кб - загружено 2255 раз.)
« Последнее редактирование: 13-03-2012 01:11 от sss » Записан

while (8==8)
RXL
Технический
Администратор

ru
Offline Offline
Пол: Мужской

WWW
« Ответ #9 : 12-03-2012 11:56 » new

sss, а можно тут вкратце рассказать, на каких ОС и их версиях работает, какой дополнительный софт требуется, общие возможности и т.п.? Это ведь существенно удобнее для быстрого ознакомления (и для поиска!), чем доки в архивах.
Записан

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
sss
Специалист

ru
Offline Offline

« Ответ #10 : 13-03-2012 01:11 » 

RXL, ok, добавил.
Записан

while (8==8)
Страниц: [1]   Вверх
  Печать  
 

Powered by SMF 1.1.21 | SMF © 2015, Simple Machines