Как обработать текст с помощью STL?

[ary]

имеется текстовый файл.
задача:
1.подсчитать словарный запас,используемый в тексте-т.е. количество слов в тексте без учета повторных употреблений данного слова.
2.частоту употребления каждого слова.
все это желательно сделать с помощью STL.
Понятно ,что для 1-й задачи надо использовать std::set
но вот вопрос,имеется ли функция STL ,позволяющая отличать отдельные слова в техте-или надо писать свою функцию для этого?
Заранее спасибо за помощь и подсказки.

[npak]

Вот пример решения

Код:

#include <iostream>
#include <sstream>
#include <iterator>
#include <algorithm>
#include <map>
using namespace std;

// Частотный словарь
typedef map<string, int> frequency_dictionary;

// Разобрать текст из входного потока и занести слова в словарь
void parse_text(frequency_dictionary& dict, istream & instream)
{
    string word_with_delims;
    // оператор >> для строк читает слова и игнорирует пробелы
    while(instream >> word_with_delims)
    {
        // в word_with_delims находится последовательность символов без
        // пробелов.  В ней может оказаться несколько слов, разделённых
        // небуквенными символами.  Разделяем строку и заносим каждое слово
        // отдельно.
        string::size_type start = 0;
        string::size_type pos;
        do {
            pos = word_with_delims.find_first_of(".,;:()<>[]{}-+=/#&\"*!@#$%^&?", start);
            if (pos == string::npos) pos = word_with_delims.size();
            if (pos - start > 0)
            {
                ++ dict[word_with_delims.substr(start, pos-start)];
            }
            start = pos+1;
        } while(start < word_with_delims.size());
    }
}

// строит строку вида "слово: число вхождений"
string word_freq(const frequency_dictionary::value_type & p)
{
    ostringstream ssbuf;
    ssbuf << p.first << ": " << p.second;
    return ssbuf.str();
}

// Распечатывает частотный словарь в поток вывода.
ostream & operator<< (ostream & out_stream, const frequency_dictionary & dict)
{
    transform(dict.begin(), dict.end(),
              ostream_iterator<string, char>(out_stream, "\n"),
              word_freq
        );
}

int main(int argc, char ** argv)
{
    frequency_dictionary dict;
    parse_text(dict, cin);
    cout << dict;
    int x = 100;
    return 0;
}