Програма для поиска дублирующих файлов

[Dmytry]

Всем привет!У меня возникла такая проблема. Мне нужн онаписать программу в Visual studio 2008, которая выполняет поиск дублирующихся файлов в каталоге или на логическом диске. программа должна предоставлять следующие возможности:
·   выполнение поиска файлов, которые дублируются, в заданном пользователем адресном пространстве (логическом диске или каталоге);
·   сообщение пользователя о найденных дубликатах; возможность навигации между ними;
·   сжатие файлов-дубликатов за алгоритмом GZIP.
 Общие требования интерфейса программы (обязательные элементы):
·   поле введения адресного пространства, в котором будет выполняться поиск дубликатов;
·   форма с перечнем найденных файлов, которые дублируются, с возможностью их открытия прямо из дополнения (например, двойным нажатием левой кнопки мыши);
·   если несколько текстовых файлов имеют дубликаты, то они должны каким-то образом группироваться; например, на диске присутствуют два одинаковых файла - С:\doc\text1.txt но C:\temp\my\text11.txt, а также на этом диске есть еще три файла, которые дублируются, - С:\doc\text2.txt, C:\temp\text.txt но C:\temp\my\text2.txt; тогда пользователю должны представиться две группы файлов, которые дублируются, - text1.txt и text2.txt (названия групп могут быть любые); причем пользователь должен иметь возможность самому избрать из группы файл-оригинал и файл(и) -дублікати;
·   у пользователя должна быть возможность сжатия дубликатов за алгоритмом GZIP (за его желанием).

Прошу помогите кто нибуть, незнаю с чего начать.Существует ли какой то алгоритм поиска дублирующихся файлов и по каким критериям вообще производить поиск дублирующихся файлов?.Visual Studio 2008 уже установил, но незнаю что делать дальше  и с чего начинать:-/

[Serg79]

Прошу помогите кто нибуть, незнаю с чего начать.Существует ли какой то алгоритм поиска дублирующихся файлов и по каким критериям вообще производить поиск дублирующихся файлов?.Visual Studio 2008 уже установил, но незнаю что делать дальше  и с чего начинать:-/

Считай контрольные суммы файлов (например md5) и сравнивай их. Соответственно если контрольные суммы двух файлов совпадают, значит они одинаковые.

[Dmytry]

А md5 - это я так понимаю хеши?....А есть какая нибуть функция что б извлекать хеши из файлов?

[Serg79]

А md5 - это я так понимаю хеши?....А есть какая нибуть функция что б извлекать хеши из файлов?

Смотри RFC описание алгоритма подсчета MD5: RFC 1321. Там так же есть реализация данного алгоритма на C.

[Dmytry]

Спасибо огромное..буду пытаться разбираться!

[Dmytry]

Почитал по совету хеширование файлов...Смысл вроде уловил но не могу понять(может пропустил), как же узнать сам хеш проверяемого файла то есть как извлечь из файла програмно его хеш и потом с ним работать??Подскажите пожалуйста, может есть какая то функция на С++ конкретная для извлечения хеша из заданого файла?

[Serg79]

Почитал по совету хеширование файлов...Смысл вроде уловил но не могу понять(может пропустил), как же узнать сам хеш проверяемого файла то есть как извлечь из файла програмно его хеш и потом с ним работать??Подскажите пожалуйста, может есть какая то функция на С++ конкретная для извлечения хеша из заданого файла?

Открывай файл на чтение и прогоняй данные из него через функцию расчета md5. После прогона через md5 всего файла, получишь сумму md5 для данного файла.

[Dmytry]

Ага, вроде понял. Спасибо!!..А вот скажи, такое(подсчет хеша) можно проделывать не только с текстовыми файлами а и например файламимультимедиа и exe-файлами??...И как можно допустим не програмно посмотреть шеш файла(ну что б удостоверится что хеш пренадлежит именно этому файлу), может какая прога специальная есть??

[Serg79]

Ага, вроде понял. Спасибо!!..А вот скажи, такое(подсчет хеша) можно проделывать не только с текстовыми файлами а и например файламимультимедиа и exe-файлами??

Считать контрольную сумму можно любого файла.

И как можно допустим не програмно посмотреть шеш файла(ну что б удостоверится что хеш пренадлежит именно этому файлу), может какая прога специальная есть??

В 'Total Commander' есть пункт в меню 'Подсчитать CRC-сумму' (md5 или SFV).

[Dmytry]

Спасибо еще раз!!!..Буду разбираться.

[Dmytry]

Здравствуйте еще раз!...Как и раньше не могу решить проблему с нахождением MD5 -хеша файла. Нашел исходники:
http://cms.xd24.ru/md5.aspx.Может покажется смешным ,но никак не могу откомпилировать.Помогите пожалуйста кто нибуть.Очень нужно решить эту проблему!!

[Finch]

Где именно у тебя компилятор ругается?. У себя проверил, компилятор вроде все скушал.

[Dmytry]

А вы на чем компилировали и какой проэкт создавали скажите ,если не трудно?(я компилировал на Visual Studio 2008, создавал проэкт MFC)

[Finch]

Это не важно, какой проект. Создаеш 2 файла. Один md5.cpp и второй md5.h Подключаеш их к проекту. Теперь осталось только сделать copy-paste соответствуюших частей из приведенной тобой ссылки. И компилировать.

[Finch]

Сейчас проверил работу данной библиотеки. В файле md5.cpp нужно подправить подключаемую библиотеку. Заместо #include  <string> Нужно написать #include  <string.h>. Это две разные библиотеки.
Ну и код использования

Код:

    md5::md5_context ctx;    // Тут будут зранится промежуточные результат контрольной суммы.
    md5::md5_starts(&ctx);   // Иницилизируем и выставляем в начальное состояние контрольную сумму.
    unsigned char ch[]="To be or not to be.\n";
    md5::md5_update(&ctx,  ch, strlen((const char *)ch));  // Сам подсчет контрольной суммы, можно использовать последовательно несколько кусков
    unsigned char diggest[16];
    md5::md5_finish(&ctx,diggest); // В Массив diggest будет выташена контрольная сумма. 
    for(int i=0; i<16; i++)                          //печатаем
    {
        if (diggest[i]<16) printf("0");
        printf("%X", diggest[i]);
    }
    printf("\n");

[Dmytry]

Спасибо огромное..буду пробовать!!!..вот у меня сдесь возник еще вопрос..мне нужно сделать такую вещь: нужно осуществить поиск всех текстовых файлов(txt) по заданому каталогу..то есть пользователь вводит путь к каталогу(например С:\documrnts), происходит поиск всех текстовых файлов в этом каталоге и на экране появляется список этих фалов....при этом желательно ,что б имена файлов сохранялись в  строковый масив для того ,что б их потом можно было посортировать....Подскажите к тонибуть, с чего мне начинать, какие функции использовать?? Может даже какой нибуть вариант алгоритма предложит, буду только за!!...да еще...желательно ,что функции были на языке С#

[Dmytry]

Продолжаю работу над своей программой. Есть исходник написанного мной куска программы на С#:
вот он   http://files.mail.ru/LC6PT7

На данном этапе моя программа по задающемуся пользователем пути   отыскивает в каталогах текстовые файлы (*.txt), находит по алгоритму md5 хэш каждого файла сводя их в массив строк и выводя в отдельном текстовом поле формы программы(listbox1). Так вот у меня возникла проблема с тем  ,что б потом из полученного масcива из хэшов найти одинаковые строки, свести их в новый массив и вывести в другое строковое поле listbox2.

Может кто-нибудь подскажет ка решить мою проблему...буду премного благодарен. Дело в том что я застрял  даже на том ,ч тоне могу получить элементарный контроль над массивом - пытался вывести первую строку...ничего не получилось -почему то выводило все строки сразу.

[Finch]

Ну самый простой способ поиска совпадений, Это отсортировать массив. И затем только останется пройтись по массиву, чтобы выбрать совпадаюшие кеши. Они будут лежать последовательно, после сортировки.

[Dmytry]

Спасибо за совет.....я тоже подумывал о сортировке...Но вся загвоздка в том ,что я не могу получить доступ к масиву - не могу им управлять, не могу получить доступ к отдельным строкам...он выводится...вроде правильно....построчно но вот захватить строки для манипуляции ими и работы у меня не получается