Форум DL

Мой профиль

Идея уже давно "витала в воздухе", а в пятницу, 17 апреля, Игорь Викторович Коршунов взялся за ее реализацию для WInter.

Мы взяли задачу из олимпиады 3 курса, по которой было много лишних отсылок (и не потому, что в задаче были ошибки в тестах

, а потому что вначале отсылались не полные решения). Для нее из протокола выбрали все ОШИБОЧНЫЕ решения, которые не прошли хотя бы один тест.

Суть конкурса такова: на тестирование нужно послать тест (файл tests.tst, подготовленный в WInter), который будет обладать следующими свойствами:
1) Быть корректным, то есть при запуске авторского/правильного решения на этом тестовом файле WInter должен выдавать сообщение "все тесты успешно пройдены"
2) ДЛЯ КАЖДОЙ из собранных их протокола - программ - решений этой задачи, запуск WInter на данном тестовом файле должен завершаться сообщением об ошибке при выполнении такого-то теста.

Цель данного сообщения - ОБСУДИТЬ наиболее интересную для студентов РАЗНОВИДНОСТЬ этого конкурса.

Какие варианты видим мы:

1. Кто быстрее (по абсолютному времени) отловит ошибки во всех предложенных ошибочных исходниках своим ТЕСТОВЫМ файлом.

2. Кто МЕНЬШИМ количеством тестов в своем тестовом файле "отловит ошибки во всех предложенных ошибочных исходниках"

3. Если за отведенный период времени НИКТО не сможет "повалить" все ошибочные исходники, то КТО БОЛЬШЕ исходников "повалит".

4. Какая-то комбинация 2 и 3. Например, если не все программы повалены, то просто количество поваленных. Если все, то большой_бонус - количество_тестов * коэф.

Могут быть также такие опции:
- исходные тексты всех ошибочных программ доступны/НЕ ДОСТУПНЫ
- тестирование ведется до первой программы, в которой ошибка не обнаружена или каждый раз для всех программ.

Ваше мнение?

Мой профиль

4 вариант более подходит. Хотя это зависит от количества задач. Если их 4-5, то можно использовать комбинацию 1-го и 2-го варианта. Если около 10 или более, то 4-й.
И хотелось бы всё-таки увидеть пример, как это работает, то есть выложить исходник программы и тест.