Library

[Mfcer__]

где можно скачать библиотеки позволяющие производить
модуляцию сигналов, цифровую обработку и прочее

то есть телекоммуникационные

[RXL]

Я встречал только исходные коды для ADSP-21хх.
Многие вещи легко написать самому: базовые алгоритны просты до безобразия. Напр., модуляция выглядит примерно так:

Код:

#include <math.h>

void modulation ( float * sample1, const float * sample2, int len )
{
    int i;
    for ( i = 0; i < len; i++)
        sample1[i] *= fabs(sample2[i]); // простое перемножение несущей на модуль информационного сигнала
}

[Mfcer__]

мне нужно немного посложнее
например
 фазово импульсная модуляция, широтно им, и т.д.

[Hooter]

Если тебе в исследовательских целях, то можно через MathLab. Там есть модуляция/демодуляция. И к Си можно прикрутить - там либы есть в стандартном пакете начиная с 4-й версии MathLabа.
Но сильно уж тормозит. То есть для нормальной работы не пойдет. А что касается демодуляции, то и вовсе под идеальные условия заточено.

Если тебе только модуляция нужна, то там всё действительно просто.
А вот демодуляция - на порядок сложнее.

[RXL]

Mfcer__, лучше сперва почитать теорию.
Например, ШИМ (широтно-импульсная модуляция) к обработке сигналов отношения не имеет. Это всего лишь механизм получения аналогового сигнала из однобитного цифрового.