Тесты для рандомных сущностей

[RXL]

Столкнулся по работе с тестом (написанным до меня), проверяющим некую сущность, свойства которой определяются генератором случайных чисел. При этом тест иногда не проходит. Как лучше тестировать подобные сущности? Я предложил как минимум устанавливать seed. Существует ли какой-либо универсальный подход к таким ситуациям?

[Dimka]

Объект, поля которого вычисляются рандомно для теста - это понятно.

Непонятно, что именно проверяет тест, и каковы критерии валидизации в тесте?

[RXL]

Нет, Дим, не тест создает случайные значения, а нутро сущности и это нормальная ее работа. Есть плоское игровое поле и генератор некоторых объектов, размещающих их на поле в случайном порядке, но по некоторому закону. Скажем, находится на поле объект А и с некоторой вероятностью рядом появится другой объект А. Тест должен проверить, что такой закон работает.

[Sla]

Только на вероятностных характеристиках или приближенных к ним, но в любом случае все основывается на накоплении результата теста.

[Джон]

Ром, что значит

тест иногда не проходит

Если речь идёт о вероятности события, то тест не может не проходить, ведь если А не появилось - является подтверждением работы закона. Поэтому поддерживаю Славу: можно только задать значение вероятности, а потом проделать определённую кучу "экспериментов" и с некой точностью сравнивать полученный результат с заданой величиной. Если отклонение не больше чем, то закон работает.

[Dimka]

RXL, ну значит тест накапливает статистику и изучает закон распределения вероятностей. Если закон статистически подтверждён - тест пройден. Вопрос в том: какой закон требуется (хорошая реализация rand() даёт равномерное распределение). Вся статистика основана на центральной предельной теореме теории вероятностей: если есть случайные (т.е. не подчинённые функциональному закону) величины, и они устроены таким образом, что чем больше значений просуммировано, тем меньший вклад привносит очередное значение, в бесконечности они дают нормальное распределение. Отсюда в статистике появляется масса разных вычисляемых показателей и критериев о том, с какой вероятностью параметры выборки (набора имеющихся данных) соответствуют параметрам генеральной совокупности (теоретической совокупности всех данных). Причём обычно это делается в форме гипотезы со стандартным доверительным интервалом (упомянутой вероятностью соответствия) 95%, 99%, 99,99...% - в зависимости от потребностей. Т.е. если расчётная величина больше или меньше того или иного критерия, гипотеза считается верной или неверной в доверительном интервале (например, не менее или не более чем на 95%).

[Dale]

...тест иногда не проходит. Как лучше тестировать подобные сущности?

1. Зафиксировать проблемную последовательность чисел, при которой тест не проходит.
2. Заменить генератор (псевдо)случайных чисел тестовым двойником, способным по запросу генерировать проблемную последовательность. В данном случае подойдет, например, "диверсант" или "подставной объект".
3. Составить модульные тесты, подтверждающие действительное наличие ошибки при такой последовательности входных данных.
4. Локализовать и исправить ошибку (возможно, после рефакторинга). Убедиться, что тесты проходят.
5. Обязательно включить эти тесты в набор регрессионных, чтобы в будущем эта ошибка не вернулась.

В общем, в данной ситуации замечательно сработает хрестоматийный паттерн исправления ошибок из руководств по управлению конфигурацией.

Вариант с seed в принципе тоже работоспособен, но слишком завязан на конкретную реализацию генератора последовательностей (псевдо)случайных чисел. Другая реализация при том же seed'е может породить совершенно другую последовательность. Или, если используется аппаратный генератор, такой подход тем более не сработает.