Скрипт для нарезки текстового файла

[Xray]

Нужен простейший скрипт(в программировании не разбираюсь) для выделения из огромного текстового файла определенного куска, файл содержит данные типа даты, время (ггггммччвввв) и 4 числа через пробелы , т.е например:
200904130215 0.72195 0.72195 0.72175 0.72175
200904130216 0.72175 0.72185 0.72175 0.72185
200904130217 0.72185 0.72185 0.72185 0.72185
200904130218 0.72185 0.72185 0.72185 0.72185
200904130219 0.72185 0.72185 0.72175 0.72185
200904130220 0.72185 0.72205 0.72185 0.72195
200904130221 0.72195 0.72195 0.72185 0.72185

Надо чтобы допустим из этого примера вырезать
200904130217 0.72185 0.72185 0.72185 0.72185
200904130218 0.72185 0.72185 0.72185 0.72185
200904130219 0.72185 0.72185 0.72175 0.72185

Спасибо

[PooH]

Нужен простейший скрипт(в программировании не разбираюсь)

Так это тебе работника искать надо...

[Алексей++]

Надо чтобы допустим из этого примера вырезать
200904130217 0.72185 0.72185 0.72185 0.72185
200904130218 0.72185 0.72185 0.72185 0.72185
200904130219 0.72185 0.72185 0.72175 0.72185

а по какому критерию вырезано то ? За числа определённые ?

[Xray]

А что местных умельцев нет? (хотя бы подсказать в каком направлении работать)

[Xray]

Надо чтобы допустим из этого примера вырезать
200904130217 0.72185 0.72185 0.72185 0.72185
200904130218 0.72185 0.72185 0.72185 0.72185
200904130219 0.72185 0.72185 0.72175 0.72185

а по какому критерию вырезано то ? За числа определённые ?

Да с определенного числа и времени по определенное число и время

[PooH]

хотя бы подсказать в каком направлении работать

Хоть операционка какая?
И насколько большой файл? сколько в нем строк? Можно тупо импортировать в ексель и вырезать руками или макросом.

[Xray]

хотя бы подсказать в каком направлении работать

Хоть операционка какая?
И насколько большой файл? сколько в нем строк? Можно тупо импортировать в ексель и вырезать руками или макросом.

В том то и проблема, что файл огромный и при загрузке в ексель, пишет что файл загружен не полностью, размер этого текстового файла примерно 9.5 МБ. Операционка winda 2003

[Вад]

Ну, если весь файл состоит из таких записей, то проще всего, имхо, с помощью регулярного выражения вырезать дату в каждой строке и проверять на попадание в диапазон.
Сравнение - хоть в строковой форме: в таком формате даты будут соблюдать лексикографический порядок.
Если файл отсортирован по времени, то сначала искать начало диапазона (соответственно, проверять, что дата больше или равна заданной начальной), а затем "вырезать" до тех пор, пока не будет достигнут конец диапазона (проверять, что дата меньше или равна заданной конечной).

Делать любым скриптовым языком.

[Xray]

сколько в нем строк?

Больше 65536

[Джон]

А чего тут работать?

1. Разбиваем текст на строки (надеюсь признак конца строки 0x0d 0x0a ?)

2. бежим по всему массиву и ищем начало блока. Критерий поиска у тебя есть - проверка на совпадение начала каждой строки с образцом известной длины, в твоём примере - "200904130217".

3. Если нашли, отправляем эту и следующие строки в буфер пока не найдём конец блока (аналагично п.2). Найденая таким образом строка (элемент массива) тоже отправляется в буфер.

4. Повторяем пока элементы массива не кончатся, или пока не найдём конец блока. Ну тут уже тебе решать, что делать если конец не найден.

5. Всё

зы Да, забыл. Буфер сохраняем в файл или делаем с ним что надо.

[Finch]

Если была бы *nix система, то можно было бы обратить внимание на программу split. Ну и на худой конец sed или awk.

[Sla]

Код:

for /F "tokens=1,2,3,4,5 delims= " %%i in (my_file.txt) do if /i not %%j == %%m  @echo %%i %%j %%k %%l %%m

[Sla]

главное знать условия отбора
я увидел только то, что второе поле  равно последнему

[Sla]

Да с определенного числа и времени по определенное число и время


аааа!!

анализируем %%i

[Sla]

извините забыл
bat- файл

[RXL]

Xray, такой файл можно импортировать в Access, а далее есть визуальное создание запросов.

[Xray]

Ну, если весь файл состоит из таких записей, то проще всего, имхо, с помощью регулярного выражения вырезать дату в каждой строке и проверять на попадание в диапазон.
Сравнение - хоть в строковой форме: в таком формате даты будут соблюдать лексикографический порядок.
Если файл отсортирован по времени, то сначала искать начало диапазона (соответственно, проверять, что дата больше или равна заданной начальной), а затем "вырезать" до тех пор, пока не будет достигнут конец диапазона (проверять, что дата меньше или равна заданной конечной).

Делать любым скриптовым языком.

главное знать условия отбора
я увидел только то, что второе поле  равно последнему

Условия простые: От одной даты до другой, 4 последующих числа - рандомные и не важны(просто может пример не удачный)

[Xray]

Xray, такой файл можно импортировать в Access, а далее есть визуальное создание запросов.

Данный файл не распознается в Access(а если быть точнее: 1 колонка (дата и время) не експортятся)

[Sla]

Xray, я уже все написал, тебе только подправить, мой код нужно только чуть-чуть допилить до нужного

[Xray]

Sla, Этот код for /F "tokens=1,2,3,4,5 delims= " %%i in (my_file.txt) do if /i not %%j == %%m  @echo %%i %%j %%k %%l %%m
 вообще куда вбивается

[Sla]

есть такое командная строка
в ней работают bat файлы, cmd файлы

[Вад]

Тупая реализация на Perl для упорядоченного по времени файла (без оптимизации, будет выполнять 2 сравнения для каждой строки):

Код: (Perl)

if (@ARGV > 1)
{
        my $date1 = shift;
        my $date2 = shift;
        while(<>)
        {
                my ($dat) = /^(\d+)/;
                if ($dat gt $date2){
                        last;
                }
                elsif ($dat ge $date1){
                        print;
                }
        }
}

2 параметра командной строки - даты начала и конца отрезка в том же формате, что и в файле (типа 200904130215)

[Xray]

есть такое командная строка
в ней работают bat файлы, cmd файлы

А ты можешь по моему 1 примеру (см. топ) выписать код, тогда я думаю разберусь

[RXL]

Xray, такой файл можно импортировать в Access, а далее есть визуальное создание запросов.

Данный файл не распознается в Access(а если быть точнее: 1 колонка (дата и время) не експортятся)

Легко!!!
Импорт.
*.txt
С разделителями - пробел.
Тип полей - текстовые.

Выборка:

Код:

SELECT Test.*
FROM Test
WHERE (((Test.Поле1) Between '200904130200' And '200904130220'))
ORDER BY Test.Поле1;

[PooH]

Больше 65536

Эксель 2007 умеет работать с более чем 1млн. строк на листе.

Больше строк и столбцов и другие новые ограничения
Чтобы можно было исследовать большие объемы данных на листах, Office Excel 2007 поддерживает листы размером до одного миллиона строк и 16-ти тысяч столбцов. Так сетка Office Excel 2007 состоит из 1 048 576 строк и 16 384 столбцов, что обеспечивает увеличение числа строк на 1500% и столбцов на 6300% по сравнению с приложением Microsoft Office Excel 2003. И вот почему: нумерация столбцов теперь оканчивается на XFD вместо IV.

[Sla]

упс....
не работает

for /F "tokens=1,2,3,4,5 delims= " %%i in (%1) do if /i '%%i' GTR '%2' (echo 111) else echo 000

Подставляю EQU - работает

GTR не работает
запускаю

proba.bat my_file.txt 20090413020

если кому нужна справка
hh ntcmds.chm

[Sla]

1. создать файл
test.bat
следующего содержания

Код:

for /F "tokens=1,2,3,4,5 delims= " %%i in (%1) do (
if /i '%%i' GTR '%2' (if /i '%%i' LSS '%3'  @echo %%i %%j %%k %%l %%m 
))

запустить из командной строки

test.bat <имя файла> <дата первая> <дата вторая>

на приведенных данных работает
test.bat my_file.txt 200904130217 200904130220

[Dimka]

В Windows есть такая штатная вещь, как WSH (Windows Script Host).

Можно вот этот код:

Код: (Text)

Const ForReading = 1, ForWriting = 2
Dim FileSystemObject, InputFile, OutputFile
Set FileSystemObject = CreateObject("Scripting.FileSystemObject")
Source = WScript.Arguments(0)
Destination = Source + "_Result.txt"
Set InputFile = FileSystemObject.OpenTextFile(Source, ForReading)
Set OutputFile = FileSystemObject.OpenTextFile(Destination, ForWriting, True)
MinDate = CDbl(InputBox("Введи минимальную дату в формате ГГГГММДДччмм", "Фильтр данных"))
MaxDate = CDbl(InputBox("Введи максимальную дату в формате ГГГГММДДччмм", "Фильтр данных"))
While Not InputFile.AtEndOfStream
 Line = InputFile.ReadLine
 DateInLine = CDbl(Split(Line, " ")(0))
 If DateInLine >= MinDate And DateInLine <= MaxDate Then
  Call OutputFile.WriteLine(Line)
 End If
Wend
Call InputFile.Close
Call OutputFile.Close
WScript.Echo("Результат записан в файл " + Destination)

Записать в файл с расширением vbs, например filter.vbs

Затем в проводнике перетащить мышью файл с данными на этот созданный файл. Запустится скрипт, который будет обрабатывать "брошенный" на него текстовый файл. Кроме того скрипт запросит у юзера даты диапазона фильтрации.

[Xray]

Dimka, СПАСИБО ОГРОМНОЕ, ТЫ просто гений!!!! респект тебе!

[Джон]

Ну раз пошла такая пьянка...

Xray, держи фирменный софт.

[Sla]

та ладно У меня короче

[Джон]

А у меня быстрей и удобней.    )

зы Создание заняло 10 минут, включая "обстругивание" иконок.

[Serg79]

Вот еще короче :

Код:

cat list.txt | awk '$1 > 200904130216 {print}' | awk '$1 < 200904130220 {print}'

А вот это в деле:

Код:

# cat list.txt
200904130215 0.72195 0.72195 0.72175 0.72175
200904130216 0.72175 0.72185 0.72175 0.72185
200904130217 0.72185 0.72185 0.72185 0.72185
200904130218 0.72185 0.72185 0.72185 0.72185
200904130219 0.72185 0.72185 0.72175 0.72185
200904130220 0.72185 0.72205 0.72185 0.72195
200904130221 0.72195 0.72195 0.72185 0.72185

# cat list.txt | awk '$1 > 200904130216 {print}' | awk '$1 < 200904130220 {print}'
200904130217 0.72185 0.72185 0.72185 0.72185
200904130218 0.72185 0.72185 0.72185 0.72185
200904130219 0.72185 0.72185 0.72175 0.72185

[Serg79]

Можно даже еще короче:

Код:

# cat list.txt | awk '$1 > 200904130216 && $1 < 200904130220 {print}'

[RXL]

Serg79, если на то пошло, то еще и cat можно убрать

А вообще, юниксовые утилиты хорошо помогают в обработке текста - почти никаких программ не нужно писать.

[Джон]

никсы и иже с ними исключаются из соревнований

Операционка winda 2003

[RXL]

Джон, можно установить mingw и включить винду в соревнования по юниксизму. Например, существует комплект UnixTools. Весит 5 МБ в архиве (сейчас выложу в наш архивчик).

Это список утилит оттуда (помимо самой sh).

Код:

agrep.exe
ansi2knr.exe
basename.exe
bc.exe
bison.exe
bunzip2.exe
bzip2.exe
bzip2recover.exe
cat.exe
chgrp.exe
chmod.exe
chown.exe
cksum.exe
cmp.exe
comm.exe
compress.exe
cp.exe
csplit.exe
cut.exe
date.exe
dc.exe
dd.exe
df.exe
diff.exe
diff3.exe
dircolors.exe
dirname.exe
du.exe
echo.exe
egrep.exe
env.exe
expand.exe
expr.exe
factor.exe
fgrep.exe
find.exe
flex.exe
fmt.exe
fold.exe
fsplit.exe
gawk.exe
gclip.exe
gplay.exe
grep.exe
gsar.exe
gunzip.exe
gzip.exe
head.exe
id.exe
indent.exe
install.exe
join.exe
jwhois.exe
less.exe
lesskey.exe
libfl.a
libfl.lib
ln.exe
logname.exe
ls.exe
m4.exe
make.exe
makedepend.exe
makemsg.exe
man.exe
md5sum.exe
mkdir.exe
mkfifo.exe
mknod.exe
mv.exe
mvdir.exe
nl.exe
od.exe
paste.exe
patch.exe
pathchk.exe
pclip.exe
pr.exe
printenv.exe
printf.exe
pwd.exe
recode.exe
rm.exe
rman.exe
rmdir.exe
sdiff.exe
sed.exe
seq.exe
shar.exe
sleep.exe
sort.exe
split.exe
stego.exe
su.exe
sum.exe
sync.exe
tac.exe
tail.exe
tar.exe
tee.exe
test.exe
touch.exe
tr.exe
type.exe
uname.exe
unexpand.exe
uniq.exe
unrar.exe
unshar.exe
unzip.exe
uudecode.exe
uuencode.exe
wc.exe
wget.exe
wget.hlp
which.exe
whoami.exe
xargs.exe
yes.exe
zcat.exe
zip.exe

awk сюда включен под именем gawk (GNU awk).

https://club.shelek.ru/viewfiles.php?id=3
"unixTools"

[Джон]

На таких условиях согласен. 5MB можно потягаться. )

[Serg79]

А вообще, юниксовые утилиты хорошо помогают в обработке текста - почти никаких программ не нужно писать.

Согласен.

Иногда Винда в такой ступор вгоняет. К действиям, которые в никсах проделываешь не задумываясь, в Винде даже не знаешь с какой стороны подойти.  

[Sla]

Serg79,  не знаю.... не вгоняет

[Dimka]

Джон, можно установить mingw и включить винду в соревнования по юниксизму.

Для Windows 2003 есть штатная Microsoft-овская штука под названием SFU (Windows Services for UNIX) - после её установки обеспечивается не только POSIX-совместимость системных вызовов, но и в командной строке становятся доступны стандартные UNIX-утилиты и вроде даже Perl устанавливается и превращается в ещё один системный скриптовый язык помимо VBScript и JScript.

[RXL]

Dimka, хотя это боян, но в жизнь так и не вошло. А в штатной поставке ставится только в Vista Ultimate.

[Serg79]

Serg79,  не знаю.... не вгоняет

Ну не знаю Sla.

Меня недавно вирус немного потрепал и я решил удалить все исполняемые файлы с диска 'E:'.

В никсах это действие выполняется очень просто:

Код:

$ find . -type f -exec file '{}' \; | awk -F: '$2 ~ /ELF/ {print $1}' | xargs rm -f

То же самое проделать в Винде я не смог, так я и плюнул на эту затею. 

[Алексей++]

Serg79, можно так

F3 , *.exe, ищем

потом по вкусу - либо clrl+a , shift+del
либо выбираем поотдельности )

[Вад]

del /F /S /Q *.exe - нет?

[RXL]

Алексей1153++, Вад, заметьте, что кроме поиска проверяется еще сигнатура в начале файла. Исполняемый файл вовсе не обязательно имеет расширение exe!

[Finch]

Ром в виндовсе обязательно. Или еше как вариант .com. Иначе система просто будет игнорировать. Даже если будет сигнатура сто раз MZ в начале файла.Винда работает только по суфиксу файла. Потом уже, когда файл разворачивается на запуск. Тогда уже проверяется сигнатура для exe файлов. Комовские даже без проверки запускаются.

[RXL]

Finch, это для обработки по расширению в проводнике нужно, а выполнить его (или переименовать и выполнить) можно программно. В винде много исполняемых форматов с разными расширениями. Тот же vbs, msc, scr.

[Finch]

Если ты глянеш в реестр по этим расширениям, то увидиш, что там прописано, как вообше их запускать. Изначально было только три запускаемых расширения. .bat, .com, .exe Все остальное я так думаю, система тянет из реестра по каждому конкретному расширению.

Да кстати, если ты переменуеш с .exe, скажем в .exe1 Как бы не пытался, ты не сможеш запустить файл.

[Serg79]

Serg79, можно так

F3 , *.exe, ищем

потом по вкусу - либо clrl+a , shift+del
либо выбираем поотдельности )

Спасибочки. Только что удалил все EXE-шники.

P.S. но все равно согласитесь, коряво как-то. 

[Алексей++]

Спасибочки. Только что удалил все EXE-шники.

глубоко извиняюся )))