Подключение gzip к С++, работа с буфером

[dimaslviv]

Всем привет, у меня вот такая проблемка - приходит пакет HTTP в формате GZIP. Конечно же приходит он у меня в буфере, мне нужно провести декомпрессию и продолжить работать с данным буфером.
Я смотрел по поиску темы по GZIP здесь, они что-то непонятны мне. Офф сайт тоже(((
Буду очень признателен если добрый человек напишет простой код подключения gzip библиотеки и работы с ней (только буфер на вход, буфер на выход).
Еще такой вопрос - вожможно декомпреснуть не весь буфер а часть его, тоисть или у gzip проходит декомпрессия побайтово, связана ли она с следующими байтами?

[RXL]

dimaslviv, с чем ты работаешь? Сокет, захват пакетов, еще с чем?

[dimaslviv]

Я работаю в Visual Studio 2010. С сокетами не работаю, у меня есть файл с пакетами который нужно разобрать. Задача заключается в том чтобы написать парсер HTTP пакетов

[RXL]

Понял: рация на бронетранспортере.

Дело в том, что сжаты не пакеты, а поток (TCP - потоковый протокол). Т.ч. сперва придется собрать поток. Даже частичное декодирование можно выполнить только начиная с начала потока.

Библиотека zlib сишная.

Самое простое - декодировать все данные сразу (функция uncompress):
http://zlib.net/manual.html#Utility

Если нужно декодировать поток:
Контекст хранится в структуре z_stream:
http://zlib.net/manual.html#Stream
Структуру надо заполнить, проинициализировать (inflateInit), по добалению данных вызывать deflate и в конце закрыть (deflateEnd).
http://zlib.net/manual.html#Basic

В комплекте с zlib идет пример: example.c
Оттуда пример:

Код: (C)

void test_deflate(compr, comprLen)
    Byte *compr;
    uLong comprLen;
{
    z_stream c_stream; /* compression stream */
    int err;
    uLong len = (uLong)strlen(hello)+1;

    c_stream.zalloc = (alloc_func)0;
    c_stream.zfree = (free_func)0;
    c_stream.opaque = (voidpf)0;

    err = deflateInit(&c_stream, Z_DEFAULT_COMPRESSION);
    CHECK_ERR(err, "deflateInit");

    c_stream.next_in  = (Bytef*)hello;
    c_stream.next_out = compr;

    while (c_stream.total_in != len && c_stream.total_out < comprLen) {
        c_stream.avail_in = c_stream.avail_out = 1; /* force small buffers */
        err = deflate(&c_stream, Z_NO_FLUSH);
        CHECK_ERR(err, "deflate");
    }
    /* Finish the stream, still forcing small buffers: */
    for (;;) {
        c_stream.avail_out = 1;
        err = deflate(&c_stream, Z_FINISH);
        if (err == Z_STREAM_END) break;
        CHECK_ERR(err, "deflate");
    }

    err = deflateEnd(&c_stream);
    CHECK_ERR(err, "deflateEnd");
}

[dimaslviv]

Спасибо, кажись решил проблемку)

[dimaslviv]

Функции для работы с файлами нормально работают но не с буффером, может что-то упускаю
Функция uncompress возвращает -3(некомпрессированые данные на входе)
Начало буфера кажеться правильно описано:
 1f 8b 08 00 00 00 00 00 00 03 94 53 db 8e a2

[RXL]

"Кажется" - к точным наукам не относится. Программирование, напомню, является разделом математики.

dimaslviv, лучше код показывай - биты и байты разглядывать совсем не интересно.

[dimaslviv]

Код: (C++)

#include "zlib.h"
typedef  int __stdcall f1(Bytef *dest, uLongf *destLen, const Bytef *source, uLong sourceLen);
int main()
{
        f1 *f;
        HMODULE hDLL = LoadLibraryW(L"E:\\zlibwapi.dll");
        f = (f1*)GetProcAddress(hDLL, "uncompress");
        FILE *fin, *fout;
        fin = fopen("E:\\file50.html.gz", "rb");
        fout= fopen("E:\\file50.html", "ab");
        if(!fin || !fout)
                cout << "err open files" << endl;
        fseek(fin, 0, SEEK_END);
        UINT32 sizeIN = ftell(fin);
        fseek(fin, 0, SEEK_SET);
        BYTE* inBUFF = new BYTE[sizeIN];
        fread(inBUFF, sizeIN, 1, fin);
        ULONG reff = sizeIN*20;
        BYTE* outBUFF = new BYTE[reff];
        errno_t er = f(outBUFF, &reff, inBUFF, sizeIN);
        fclose(fin);
}      

код ошибки -3

[RXL]

Где произошла ошибка?

[dimaslviv]

при использовании функции f(),
она вернула значение -3

Добавлено через 4 минуты и 45 секунд:
я еще пробовал тоже зделать через функции inflate()  - так она тоже возвращает -3 и пишет в msg "incorrect header check".
Не исключено что ее я тоже неверно написал.

Этот файл нормально декомперссируется через функции gzopen -> gzread. Не могу понять в чем может быть разница при использовании функций работы с буффером

[darkelf]

Если не ошибаюсь, то там присутствует заголовок gzip-а (раз уж у Вас он нормально открывается через gzopen()), а уже потом сам поток сжатых байтов. Возможно необходимо вызвать inflateInit2() с соответствующим значением windowBits. Для простых файлов в формате gzip, у меня работало значение 31.

[dimaslviv]

darkelf, спасибо, действительно помогло.
Кстати может бывает вероятность размера окна не 31?

[darkelf]

dimaslviv, почитайте документацию, там оно не совсем окно, точнее окно, но как-бы с флагами (16 и 32)

[dimaslviv]

ок, спасибо за помощь