Форум DL

Мой профиль

Время летит быстро, и не за горами сборы, по которым будет определён состав сборной РБ на IOI. Сборы в прошедшем году прошли очень нервно, я бы даже сказал, скандально, и не хотелось бы второй раз наступать на одни и те же грабли. Тем более, что в этом году конкуренция за попадание в команду как никогда высока.

Я бы хотел обсудить несколько тем по поводу проведения сборов, и начну с установки задач на DL.

По моему мнению, основной причиной конфликтных ситуаций в прошлом году была именно «кривая» установка задач.
Изменилось ли что-нибудь?

Проведу небольшой анализ установки задач российских летних сборов 2009, на которых, в частности, сейчас проходят сборы по подготовке команды Гомельской области к республиканской олимпиаде. Этот анализ стал возможен благодаря любезно предоставленном мне когда-то Михаилом Семеновичем праве доступа к базе данных DL.

Начну с того, что в России проводилось 9 контестов по 4 задачи, а у нас установлено 8 контестов. Один контест (день 2) при установке просто потерялся.

Будем считать необходимым (но не достаточным) условием правильной установки задачи то, что авторское решение набирает 100 баллов.
Но из 32 установленных задач этому условию удовлетворяет только 11. То есть, как минимум, 21 задача установлены неправильно!
Из 11 «правильных» задач 6 установились с первой попытки, для остальных были предприняты какие-то действия и сделаны дополнительные попытки.
Из 21 «неправильной» задачи в 7 случаях делалось только по одной попытке что-то исправить, а в 11 случаях вообще не делалось ни одной попытки как-то исправить ситуацию!

Однако, и то, что авторское решение проходит, отнюдь не является достаточным условием правильной установки. Например, «Замощение треугольниками» в оригинале содержит 26 тестов, а у нас – 15. Куда делись остальные?
В задаче «Ромбы» вызывает подозрение правильность генерации тестов: сообщения чекера в оригинале и у нас не совпадают. Правда здесь и авторское решение у нас набирает только 17 баллов.

То есть, по-моему мнению, за 9 месяцев, прошедших со сборов к IOI 2009, ситуация с установкой задач только ухудшилась. И значит, через 3 месяца нас ожидают новые разборки. При условии, повторюсь, что количество РЕАЛЬНЫХ кандидатов на IOI в этом году как никогда высоко.

Что-то предполагается делать для улучшения ситуации?

Мой профиль

Я предполагал попросить ставить задачи Сергея Вераксича.
Есть другие предложения?

Мой профиль

Следующий вопрос – это состав задач на сборах.

Конечно, идеально было бы использовать оригинальные задачи, подготовленные специально для сборов. Но где ж их взять? Задачи уровня последних республиканских олимпиад здесь явно не подходят. Значит, придется использовать уже «засвеченные» задачи, которые не только Михаил Семенович, но и любой желающий может найти в интернете. И, как следствие, при подборе задач желательно минимизировать возможность «домашней подготовки» к очередному туру.

К сожалению, в прошлые годы этому вопросу внимание практически не уделялось. Бывало, что на наши сборы (отборочные!) предлагались задачи Российских сборов, чуть ли не тур в тур.
Если на наших сборах предлагается первый тур какой-либо зарубежной олимпиады, то на следующий день обязательно жди второй тур этой же олимпиады.
Я считаю, что это неправильно.

По-моему, при отборе задач должны соблюдаться следующие принципы:
1) задачи должны отбираться с максимально «не засвеченных» олимпиад:
2) источники, по возможности, не должны повторяться (если в прошлом году решали, условно, «Чукотка-2008», то в этом году не надо ставить «Чукотка-2009»);
3) если хотя бы одна из задач какой-либо олимпиады «засвечивается» на сборах, то в последующие дни других задач с этой олимпиады быть не должно.

Я понимаю, что соблюдение этих условий требует дополнительной работы от Михаила Семеновича (в том числе, возможно, и оценки сложности предлагаемых задач из новых, не апробированных ранее источников), но считаю, что такая работа должна быть проведена.

Прошу понять меня правильно, я ни в коей мере никого из будущих участников сборов не подозреваю в возможной «нечестной игре». Но считаю, что не должно быть поводов для сомнений в честности и объективности отбора.

Мой профиль

А я считаю, "инициатива наказуема".

Если Вы хотите взять на себя ответственность за выбор и подготовку задач, то я готов уступить Вам это право.
А если нет - позвольте МНЕ, пока еще тренеру сборной, решать что и как мы будем делать на отборочных сборах.

Убежден, что ОБЩИЙ конечный результат меня интересует значительно больше, чем Вас и в течение значительно большего времени и до этого года и после него.

И, предваряя дальнейшие обвинения в плохой работе, хочу привести только сравнение результатов сборной Беларуси до того, как я стал ее тренером и после.

1997-2005

2006-2009

Мой профиль

Михаил Долинский:

Если Вы хотите взять на себя ответственность за выбор и подготовку задач, то я готов уступить Вам это право.

Видимо, Вы меню не поняли. Никаких претензий к выбранным Вами задачам нет. С этой стороны всё прекрасно. Но я не знаю ни одного серьёзного соревнования по программированию, где, при желании, сегодня можно узнать условия задач на завтра.

Михаил Долинский:

И, предваряя дальнейшие обвинения в плохой работе,...

Никто Вас в плохой работе не обвиняет. Так что не нужно лишний раз демонстрировать Вашу нетерпимость к чужому мнению.

А результаты отбора на IOI затрагивают интересы многих людей и не только школьников, и не только гомельчан. Так что в первую очередь в Ваших интересах, чтобы все прошло без сучка, без задоринки.

Мой профиль

Теперь о защищенности DL от «любопытного взгляда». В чем-то это продолжение предыдущей темы о выборе задач.

Я считаю, что DL далеко не является образцом в плане защищенности от взлома. «Дыры» в ней обнаруживались ранее, будут обнаруживаться и дальше, как, впрочем, и в любой другой системе. DL постоянно развивается, и это хорошо, но новые функции, это, с какой-то вероятностью, и новые «дыры».

Отсюда, по-моему, вытекают 2 проблемы.

Во-первых, на DL практикуется досрочная установка задач для соревнований. Это в большинстве случаев совершенно нормально, но, я не уверен, что это правильно для официальных соревнований. Ведь если задачи может увидеть тот, кто их установил, то почему это не сможет сделать кто-то другой? Пусть даже не условия, а только названия, что для интернет-поиска вполне достаточно.

Во-вторых, полное тестирование задач на DL обычно выполняется непосредственно во время соревнования. Что не исключало возможности и свой результат оценить, и даже, иногда, тест получить. Конечно, какие-то «дыры» были закрыты, но все ли?

Отсюда некоторые предложения.

1. Предварительную установку задач для сборов на оперативной версии DL не выполнять. В полном объеме DL можно развернуть на любом современном компьютере, в том числе и на домашнем компьютере лица, ответственного за установку задач. Там и выполнять всю подготовительную работу.

2. Первичную установку задач с ОДНИМ СТАНДАРТНЫМ ТЕСТОМ выполнять непосредственно перед туром. Если при этом возникнут проблемы, то участники сборов все равно получат бумажный вариант условия и смогут полноценно работать, а для интернет-участников файл с условиями можно выложить на первой странице DL.

3. Полную установку тестов выполнять по концу соревнования (насколько я понимаю, если все подготовлено, то это вопрос нескольких минут), после чего проводить тестирование.

В последнем предложении есть очевидный минус – это определенная задержка с получением результатов. Но думаю, что можно и потерпеть. Тем более, что сейчас все равно по завершению тура не редки перетестирования.

Но есть и плюс: не будет подозрений, что на результат участника как-то влияет его лучшее или худшее «знакомство» с DL.

Мой профиль

Теперь о перетестированиях.

Как бы не улучшилось положение с установкой задач, апелляции по результатам тура всё равно возможны. Что может являться основанием для перетестирования?

В первую очередь это, конечно, ошибки в тестах, или, точнее, несоответствие тестов условию (могут быть и в условиях ошибки). Ссылка на то, что используются оригинальные тесты, с моей точки зрения несостоятельна. А что в оригинальных тестах не может быть ошибок, не замеченных авторами? Например, был даже в чём-то забавный случай на Мозырьской командной олимпиаде, когда задачу можно было решить только в DOS-ном паскале, ни DELPHI, ни С++ Builder её не брали. Так что, теперь победителями тура объявлять тех, кто программирует в DOS?

Кроме того, по-моему, право на апелляцию должен иметь и тот участник, который набрал 100 баллов по задаче, если он считает, что кто-то получил высокий балл незаслуженно. Причин для таких ситуаций несколько.

1. Не сгруппированы тесты, в отличие от оригинальных. В результате какая-нибудь заглушка «No solution» берет 50% баллов.

2. Явно завышенный time limit, когда и сложное решение, на которое участник затратил значительное время, и простой перебор берут максимальный балл. Ведь не просто так в каталогах с авторскими решениями лежат и основные, и «медленные» решения. Как я понимаю, именно для того, чтобы определить такой time limit, чтобы «медленные» решения не проходили. Кстати, у нас это проверяется?

3. Необоснованная разбалловка, отличная от авторской, в случаях, когда автором более сложные тесты оценены дороже.

Понятно, что ни на одном реальном соревновании нельзя подать апелляцию, чтобы не свой балл повысить, а чужие понизить. Но эти же сборы проводятся не для того, чтобы поставить галочку и раздать призы. Здесь нужно выявить участников, которые в первую очередь способны набирать высокие баллы по сложным задачам в ограниченное время. И делать это в условиях IOI, когда какие-либо проблемы с задачами крайне маловероятны.

Мой профиль

И, наконец, наша «священная корова» - InTop.

Мне известен только один сторонник этой системы ранжирования участников. Но это – Михаил Семенович, и этим всё сказано.

Я не буду повторяться и приводить свои доводы «против», хочу только отметить, что InTop особенно плох при наличии проблем с установкой задач и возможных перетестированиях.
Если при простом суммировании баллов изменение результатов по нескольким тестам не имеет решающего значения, то в InTop и несколько баллов могут кардинально изменить судьбу участников.

Что, естественно, может спровоцировать разговоры о том, что кто-то кого-то тащит, перетестирование проводилось специально в чью-то пользу и т.п.
А нам оно надо?

Мой профиль

Каждый тренер имеет свои права и обязанности.
Я намерен их исполнять так как считаю правильным.
Если Вы хотите стать тренером сборной, я не против.
А если нет, оставьте за мной право принимать решения.
Спасибо за все высказанные замечания и предложения.

Мой профиль

Михаил Долинский:

Если Вы хотите стать тренером сборной, я не против.
А если нет, оставьте за мной право принимать решения.

Никогда не претендовал на это место. И с чего Вы решили, что я пытаюсь ограничить Ваши права?

Спасибо за все высказанные замечания и предложения.

Да, не за что. Лишь бы польза была...