Обсуждение системы судейства BC 2012

Кто должен судить конкурс?

Участники + жюри (как было раньше) 100 (55%)
Только участники (как на AkrossCon) 15 (8%)
Только жюри (экспериментально, подробности в первом сообщении темы) 55 (30%)
Любой вариант меня устроит 13 (7%)

голосов: 183

Дата: 20 января 2012 06:56 #1

Обсуждение системы судейства BC 2012

Регулярно всплывают обсуждения кто должен судить для получения правильных результатов. На данный момент есть три варианта:
1) Только участники (как на Акросс)
2) Только жюри
3) Участники + жюри (как на Big Contest)

Все чаще многие сходятся что судить должны независимые жюри.

Тут есть свои проблемы:
1) Если наберется меньше 10 человек в жюри, то результатом будет рандом-рандом. В идеале чем больше, тем лучше. Вместе с участниками количество голосующих обычно приближается к сотне, это уже хороший результат, где голос одного участника ни на что серьезно не влияет и тем самым нивелирует эффект "друзяшек".
2) Предположим участник "A" пригласил члена жюри "Вася", участник "B" говорит "Вася" друг "А" и поэтому либо выносите его из жюри или я не буду участвовать.

Что бы избежать этих проблем я предлагаю такую процедуру выбора жюри. Вместе с публикацией правил открывается регистрация жюри, которая работает по следующему принципу:
1) Отписываются участники конкурса кого бы они хотели видеть в жюри и кого из текущего списка они не хотят видеть в жюри, ведется список предложенных жюри и количество голосов "За" и "Против". Если "За" > "Против" участник жюри считается одобренным мейкерами.
2) В этой же теме отписываются предложенные кандидаты со словами "Участвую в составе жюри" или "Не участвую в составе жюри".
3) В случае если подтвержденных и одобренных жюри будет более некого числа N к моменту начала голосования - то голосует только жюри. Если меньше, то к ним добавляются участники.

N предлагаю установить где-нибудь на уровне 30.
Дата: 20 января 2012 07:19 #2
Только участники не катит, ибо система голосования закрытая. Это на Акроссе можно получить форму, где и кто как голосовал. А тут будут сливать конкурентов, причем наглым образом, ну как же без этого, да.
Только жюри? Независимые жюри? Не думаю что такое возможно.
Тут будет полно друзяшек, что среди участников, что среди жюри. Вопрос только в том, чтобы уравновесить их процентное соотношение в судейском составе. А для этого надо знать, кто с кем дружит и в каком количестве. У нас тут много таких просвещенных будет среди, допустим, сотни участников? Вот и в жюри будут выдвинуты нужные люди нужными людьми + незнающими положение вещей участниками.
Вообщем участники + жюри(человек так 20-30) и нормально.
Дата: 20 января 2012 07:25 #3
Идея с выдвижением в жюри по мне очень интересна. Где-то я похожее описывал, не помню. Но набрать 30 человек... Тогда бы разрешить участвовать в жюри самим участникам, которым большинство доверяет.
Если система только с жюри не прокатит, то неплохо бы улучшить систему голосования для участников. Экспоненциальную систему с компенсацией нерасставленных мест.
Дата: 20 января 2012 07:35 #4
W_aZZa:
Тогда бы разрешить участвовать в жюри самим участникам, которым большинство доверяет.

Прикольно, да? Некто участник "Зю" присутствует в судейской коллегии и с удовольствием голосует за свой конкурсный клип. А если ему запрещено голосовать за свою работу, то он в итоге не добирает некое количество баллов.
Дата: 20 января 2012 07:54 #5
Hlebalolomator
Никакой нормальный человек, не будет страдать такой ерундой как пропихивание своего клипа или клипов "друзяшек". Даже если ему запретить голосовать за свой клип, то на хороший клип это сильно повлиять не должно (можно же компенсировать средним баллом по палате), а плохому клипу разница между 37-ым и 38-ым местом не сильно поможет.
Дата: 20 января 2012 08:19 #6
Только жюри и результаты потом пусть откроют, хотя бы для участников.
Дата: 20 января 2012 08:22 #7
Вариант 3 и открытое голосование (данные в открытый доступ).

Вопли о "друзяшках, которые задвинули своих в лидеры, а нас опустили", от опущенных всегда будут.

Есть несколько идей по математической оценке адекватности голосования, но я не думаю, что стоит на это заморачиваться. Акроссовский пример с дисквалификацией пары человек, откровенно наплевавших на голосование показывает, что достаточно снимать только откровенно фейковые (алфавитный список, ....) голоса и тех, кто громко вопил, что половину не посмотрел.

ИМХО. Количество финалистов желательно сводить к 30, максимум 40.
За большее количество сложно голосовать - в голове не удерживается вся картина происходящего и впечатления о каждом клипе.
При этом, большое жюри - это плюс (Турбо выше хорошо высказался), поэтому желательно 30-50 человек привлекать из не-участвующих.

Что бы избежать этих проблем я предлагаю такую процедуру выбора жюри. Вместе с публикацией правил открывается регистрация жюри, которая работает по следующему принципу:
1) Отписываются участники конкурса кого бы они хотели видеть в жюри и кого из текущего списка они не хотят видеть в жюри, ведется список предложенных жюри и количество голосов "За" и "Против". Если "За" > "Против" участник жюри считается одобренным мейкерами.
2) В этой же теме отписываются предложенные кандидаты со словами "Участвую в составе жюри" или "Не участвую в составе жюри".
3) В случае если подтвержденных и одобренных жюри будет более некого числа N к моменту начала голосования - то голосует только жюри. Если меньше, то к ним добавляются участники.

N предлагаю установить где-нибудь на уровне 30.

Интересный вариант.
Как бы я его пробивал: десять быдло-клипов (типа 1 серия наруты под липбизкит, трек режем до двух минут), проходящих техпроверку и условно-претендующих на финал (ничего интересно, но и не совсем нубской работа, больших ляпов нету, идея-синхра на месте), реально сделать за неделю (ИМХО, пара-тройка сотен форумчан это сможет). Десять фейко-акков не проблема. Явно, что если размещать тему на форуме (даже рассылая извещение участникам в личку), откликнуться далеко не все участники, а максимум четверть. Группа из трёх-пяти провокаторов (а может и одного хватит), с десятком "клипов проходящих техпроверку"на каждого, выбивают почти всех ненужных им людей из жюри, уменьшая их количество до "меньше 30" - в жюри попадают участники. Потом, голосуя с 30-50 фейко-акков, проводят половину своих клипов в финал. В финале назначают победителями свои "клипы, сделанные за две недели, хорошо и с прицелом на победу".
Как быть не отслеженным - прекрасно известно.

ИМХО, можно набирать заявки в жюри, а потом проводить среди участников обязательный первый тур голосования - за жюри. Если ставишь минус или плюс - напиши почему.

ЗЫ. Хорошо-бы принимать заявки в жюри, только от тех, кто зареганн на Ньюзе не меньше года-двух и имеет много комментариев больше 3 строк или 3-5 сделанных автором клипов. Вероятность прохода фейков и неадекватов, которые до этого просто помалкивали, резко уменьшается.
Количество комментов учитывать по состоянию "полгода назад", чтобы избежать накруток для прохода. Бэкап базы, наверно, найдётся.
15 см лобовой брони, потом затылочная кость. Место для механика-водителя не предусмотрено.
Дата: 20 января 2012 08:36 #8
По большому счёту авторы - это в большинстве своём гарантированный состав более-менее объективного жюри, где обязан голосовать каждый, кроме как за собственную работу.
Собственно, это некая фишка БК и традиция, которую менять не стоит.
Доп жюри погоду делает разве что только в последнем туре.
Участие зрителей обусловлено нулевым туром, где идёт отсев по рейтингу.

В том числе существует "приз зрительских симпатий".
Кстати, новый рейтинг по кол-ву добавлений в избранное уже начал приносить плоды. По нему для клипов с акрошки картина основных зрительских предпочтений видна гораздо чётче и выглядит куда адекватнее рейтинга по среднему арифметическому. Поэтому я настоятельно рекомендую воспользоваться именно им.
Дата: 20 января 2012 08:46 #9
W_aZZa:
Никакой нормальный человек, не будет страдать такой ерундой как пропихивание своего клипа или клипов "друзяшек"

Значит таким занимаются только ненормальные? Только не нужно рассказывать сказок, ок? Что решает при прочих равных или близких к этому? Думаю тебе известен ответ.
Дата: 20 января 2012 08:47 #10
Проголосовал за "Только участники (как на AkrossCon)", этим мне акросс кон и нравится, что нету никакого жюри, голосуют только авторы..
Turbo:
кого из текущего списка они не хотят видеть в жюри

Тогда придется это сделать анонимным, чтобы сами жюри не видели, что их кто-то хотел слить, чтобы потом не отомстить, если все таки доберутся до голосования.
Hlebalolomator:
Это на Акроссе можно получить форму, где и кто как голосовал.

Что мешает сделать похожую форму и на БК?
V for VIDOK [FS] Opium-V / Digital Immersion
Дата: 20 января 2012 08:48 #11
А разве 3-й вариант не был в BC2009? Если мне память не изменяет конечно)))
Дата: 20 января 2012 08:53 #12
VIDOK:
Что мешает сделать похожую форму и на БК?

+
Правда об этом, вроде, уже шла речь годом или двумя назад. И было решено не открывать голосовалки.
Дата: 20 января 2012 09:02 #13
W_aZZa:
Hlebalolomator
Никакой нормальный человек, не будет страдать такой ерундой как пропихивание своего клипа или клипов "друзяшек".

Ненормальных очень много. И читеров тоже. А уж сколько пофигистов, отсмотревших только половину клипов...

а плохому клипу разница между 37-ым и 38-ым местом не сильно поможет.
Согласен. Даже разница между 25 и 35 уже мало существенна. Но пяток "ненормальных" могут полностью изменить расстановку в первой пятёрке (там где каждая ступень на вес золота).
15 см лобовой брони, потом затылочная кость. Место для механика-водителя не предусмотрено.
Дата: 20 января 2012 09:08 #14
Я за как раньше, хотя и 2-й вариант норм, ибо не думаю, что несколько голосов жюри делают какую-то картину. А показывать голосовалки финалистам... было бы интересно. Smile
Дата: 20 января 2012 09:15 #15
Ну вот я создавал когда-то тему, к которой многие отнеслись не серьёзно, но результаты получились вменяемые. Только толку от них. Если человек не хочет участвовать в жюри и конкурсе, то его и не заставишь, а изъявляют поучаствовать в качестве жюри каждый год с десяток людей, из которых половина - какое-то левое нубьё.
Чтобы писать в форуме, нужно войти.
Вход