Дисклеймер: Наверняка эта тема много раз уже поднималась.
Если есть какие-то годные ссылки на подобные посты — буду рад принять и поместить в пост.
Собственно сабж внутри названия топика.
Чем проверять, друзья?
Я понимаю, что крутые чуваки давно сидят на юниксах и гоняют всё, что душе угодно, на еджадже.
Но что делать простым смертным судьям маленьких провинциальных городов? Решения юникс-онли не предлагать!
Напомню задачи проверяющей системы (на примере регионального этапа РОИ):
- уметь компилировать решения, желательно отдавать участникам логи при ошибке компиляции
- проверять решения участников на тестах из условия, желательно в онлайне
- после окончания тура (желательно во время) тестировать решения участников на полных тестах
- уметь понимать группы тестов и ставить баллы в соответствии с группами
- уметь выводить результаты по хотя бы одной задаче в таблицу, желательно уметь делать сводную сразу по всем
Спасибо за внимание и заранее спасибо за адекватные ответы по теме.
За четыре дня до контеста выяснилось, что нечем проверять? Это, конечно, печально, но оперативность просто поражает :)
за два года просто уже накипело
спасибо за полезный ответ, мимими :3
Пару лет назад был регион, который гораздо позже вспоминал о необходимости проверяющей системы и в последний момент пытался настроить у себя PCMS. И, видимо, удачно, поскольку участники этого региона нормально выступали и проходили на РОИ.
Ковровский contester ? Или можно попробовать обратиться к Федору Меньшикову. Я его систему развернул примерно за час.
5 и 3 она делать не умеет, но в csv вывести табличку с участниками и количеством баллов по каждой задаче может. Что касается проверки на полном наборе тестов — у него есть отдельная для этого программа
линк: http://www.contester.ru/
думал. но не тыкал ещё. а он много умеет из списка?
вы то сами чем проверяете?
Но что делать простым смертным судьям маленьких провинциальных городов?То же что делают судьи в других городах — забить.Если серьёзно — чем ejudge не годится?
не годится тем, что
я ни разу не работал не в шиндошсв месте проведения соревнования есть только windows и возможности поднять там среду для еджаджа сейчас ни у кого нетНу кстати Ubuntu очень легко ставится параллельно с Windows, так что можете все таки попробовать
вторая проблема связана с тем, что я буду на месте олимпиады лишь за пару часов до её начала =)
Ноут наверняка есть? Установи все туда и пусть все на нем проверяется)
вы будете смеяться, но ноута нет :D
Я не уверен, но "Компонента тестирования на Win32 2.3.26" вам не подойдет?
Кажется, эта компонента нужна для того, чтобы виндовые компиляторы использовать в еджадже
А PCMS2 не подходит?
Её вроде и на РОИ используют, наверняка она умеет всё, что вам нужно, и даже больше.
оно может хорошо тестировать школьные олимпиады?
и там нужен мануал чтобы быстро разобраться, насколько я понимаю
Да, конечно, она прекрасно тестирует школьные олимпиады — на ней проводятся интернет-олимпиады ИТМО, РОИ.
А интернет в месте проведения есть?
Да, должен быть. Я помню, что заходил в почту и на CF.
Известные мне хорошие проверяющие системы — PCMS, ejudge, testsys — весьма непросты в настройке, еще и если их видишь первый раз и нет помощи опытного товарища :-(
А вообще, давно пора предоставлять желающим регионам возможность проведения на некотором централизованном сервере в надежной системе. У этого варианта я вижу кучу преимуществ и пока два недостатка:
проблемы, если будет потеряна связь из региона с сервером (инет упал),
очень большая нагрузка на команду поддержки проверяющей системы, да и на саму систему.
Да уж. Складывается ощущение, что авторы этих систем писали их не для людей, которым нужна простая в использовании система, а для таких же программистов, которые получат от процесса настройки своеобразное "удовольствие", разбираясь во всех тонкостях системы самостоятельно. Возможно, ситуацию исправило бы добавление к каждой системе конфигуратора с понятным интерфейсом, наличие спец версий, заточенных под какой то тип соревнования, позволяющие их развертывать с минимальными знаниями о системе. Как говориться-"Будь проще и люди к тебе потянутся". За то количество лет, сколько проходят школьные олимпиады странно, что до сих пор не разработана единая платформа для проведения всех этапов. Можно попробовать подискутировать — как должна выглядеть эта система для покрытия всех задач, с которыми сталкиваются организаторы каждый год.
В том то и проблема, что задачи меняются, системы проверки и оценивания меняются, в конце-концов компиляторы меняются — раньше вообще считали, что все надо в *.exe скомпилировать и запустить. А каждое изменение в итоге превращается в какой-то новый "костыль" в системе, который все усложняет ее настройку. Сейчас можно разработать новую, удобную, надежную (чем, кстати, хороши обозначенные мной), подходяющую для всего систему. Но как долго она проживет в удобном виде? Мы не можем сейчас предусмотреть все потребности. А если и сделаем систему гибкой и расширяемой, то простой она точно не получится...
А почему бы жюри регионалки не отдавать задачи вместе с готовыми конфигами и пошаговым руководством к установке чего-нибудь эдакого? Установить голый, например, ejudge — не проблема, залить туда готовый конфиг — тоже. Во всяком случае это вариант явно не хуже, чем оставлять настройку тестирующей системы целиком на принимающую сторону.
Все очень просто — авторы всех современных тестирующих систем писали систему "для себя", то есть чтобы они сами могли проводить олимпиады. Например, Саша Чернов сначала написал тестирующую систему ejudge для соревнований по системе ACM, когда МГУ начал проводить у себя студенческие олимпиады, потом к ней добавился функционал по проведению личных олимпиад, потом добавилась функционал группы тестов, поддержка интерактивных задач и т.д. В общем, когда была нужна какая-нибудь фича, она реализовывалась. Еще пару лет назад можно было наблюдать, как Саша Чернов дописывает очередную фичу к системе прямо во время контеста.
В результате получилась очень мощная система, с огромным функционалом, но пользоваться ей можно только при наличии достаточного опыта.
Нет, конечно же, было бы здорово если бы кто-то создал простую в разворачивании и использовании систему для олимпиад (якобы уже упоминавшийся контестер именно такой — не знаю, не пробовал), но какой интерес в ее разработке для разработчиков? Авторы тестирующих систем денег за свою работу, как правило, не получают.
Сергей, этим и занимаемся...
Насколько я понимаю, в маленьких масштабах и неофициально. Но вообще хорошо, что есть такое начинание. Надеюсь, эксперимент будет успешным! :)
Вполне официально. В маленьких масштабах, да, но мы работаем над тем, как это сделать по-человечески и для всех желающих: тут есть разные пути...