Цифры и музы, или математика премий

Олег Крючков, партнер EventPlatform

В рамках фестиваля Best Experience Marketing Awards (BEMA!) организаторы доверили нашей компании построить и поддерживать систему экспертных оценок. Не будет преувеличением сказать, что от надёжности и прозрачности такой системы зависит репутация мероприятия в целом. Для номинантов должны быть обеспечены равные условия – и эта задача не столь проста, как кажется на первый взгляд.

Мы постараемся привести примеры тонкостей, о которых не всегда задумываются организаторы, но которые могут привести к нарушению принципа равных условий. Проанализировав более 12 000 оценок, проставленных 48 экспертами в течение долгого дня очной защиты проектов, мы готовы детально разобрать эти тонкости.

ПЯТЬ КРИТЕРИЕВ

В 21 номинации эксперт давал проекту оценку по пятибалльной шкале в пяти номинациях, и «в зачёт» проекта шло среднее арифметическое этих пяти оценок.

В целом эксперты были склонны ставить более высокие баллы за актуальность и качество, а самые строгие оценки – по критерию «интегрированность».

Лишь в семи номинациях победа была безоговорочной, т.е. победивший проект набрал больший средний балл, чем остальные, по всем пяти критериям .

Если бы победитель определялся строго по критерию «интегрированность», то в семи номинациях победил бы другой проект, а если бы учитывалась только «актуальность» - то даже в восьми.

Лишь в 18% случаев эксперты ставили проекту одинаковую оценку по всем пяти критериям. Чаще всего оценки различались на один балл (например, только «тройки» и «четвёрки», или только «четвёрки» и «пятёрки»), но 6% оценок содержат разброс от 2 до 5, а 1.5% даже от 1 до 5.

Совершенно справедливо, что победитель определяется не по одному критерию, а по совокупности из пяти. Практически во всех номинациях победили именно сбалансированные проекты. И это правильно: в проекте «всё должно быть прекрасно».

ЧЕЛОВЕЧЕСКИЙ ФАКТОР

Поговорим теперь о поведении оценивающих. В гипотетическом интервью эксперты признаются:

Проект был так себе, но не хотелось бы обижать этих молодых перспективных ребят, поэтому я ставлю 4 балла.

Проект был прекрасно организован. Я поставил бы 5, но мы же знаем, что в этом мире нет ничего идеального, и я всё-таки ставлю 4 балла.

В базу данных попадают две одинаковых «четвёрки», и чтобы понять, сколь по-разному они «эмоционально окрашены», необходимо проанализировать поведение этих экспертов на всём протяжении мероприятия. Одинаково ли критичны эксперты по отношению к разным проектам?

Очень неодинаковы. Средний балл (среднее арифметическое всех поставленных оценок) различается от 4.685 (очень позитивный эксперт, почти три четверти оценок которого – пятёрки) до 2,730 (назовём этого эксперта «суперкритиком»: «колов» он расставил впятеро больше чем «пятёрок»). Разница визуализирована на диаграмме.

Если два конкурирующих проекта оценивают разные эксперты, и один из них "оптимист", а другой "критик", то, разумеется, условия становятся нечестными. Возникала ли такая ситуация на BEMA? Нет, ведь проекты в рамках одной номинации оценивали одни и те же эксперты Если "откалибровать" оценки и просуммировать не абсолютные значения, а отклонения от средней оценки по каждому эксперту, то результаты не изменятся.

Посмотрим, однако, на манеры оценки экспертов в целом. Мы разделили 48 участников очной защиты на  «квартили» по 12 человек: «оптимисты», «умеренные плюс», «умеренные минус» и «критики». Дюжина «критиков» дала 53% всех «колов» и почти 60% «двоек». Пятёрки они ставили в среднем вдвое реже, чем «умеренные», и почти вчетверо реже, чем «оптимисты».

Не раскрывая персоналий, отметим, что меньше всех повезло проектам, проходившим защиту в номинациях в кинозале: 7 из 12 «критиков» собрались там.

В зале "workshop", напротив, собралось 7 из 12 "оптимистов", поэтому средние оценки в номинациях этого зала, разумеется, выше - что, повторимся, никак не влияет на результаты внутри номинаций.

Закончим этот раздел диаграммой соотношения "критиков", "умеренных" и оптимистов по залам.

«ЖАВОРОНКИ» И «СОВЫ»

Один из вопросов, который мы задавали себе в начале длинного дня открытых защит – будет ли меняться поведение экспертов по мере приближения к финалу. Устанут ли они, станут ли более критичными или, наоборот, начнут оценивать проекты позитивнее?

Отметим, что организаторы Фестиваля и здесь поступили правильно, не дробя голосования по одной номинации по разным временным отрезкам, то есть голосования по всем проектам одной номинации шли подряд.

Тем не менее, если проанализировать «утренние» и «вечерние» оценки экспертов, окажется, что действительно, манера оценок у некоторых из них различалась в зависимости от времени суток. В целом «Совы» (те, чьи вечерние оценки в среднем выше утренних) победили «Жаворонков» со счётом 28:20. Для большинства экспертов, впрочем, разница от часа к часу была не слишком велика, однако два «экстремальных» примера – на графике.

НЕМНОГО О ПРОЕКТЕ

В заключение – пара слов о технической реализации мобильного сервиса, положенного в основу нашей системы. Проект, включая механизм очного финального голосования в случае равенства голосов в той или иной номинации, а также голосования за гран- при, был реализован менее чем за трое суток. Мы использовали новую, гибридную технологию PWA (Progressive Web Application), переход к которой анонсировали в августе 2017 года. Упрощённо говоря, это механизм построения мобильных веб-сайтов, ведущих себя как мобильные приложения, но при этом не требующих установки.

Эксперту необходимо было просто зайти по ссылке vote.bemafestival.ru и сохранить ярлык на рабочем столе телефона или планшета. После этого для работы с системой уже не нужен браузер: по нажатию на сохранённый ярлык сайт внешне неотличим от полноценного мобильного приложения, включая возможность работы оффлайн. Это важно для площадок с не очень качественным доступом в интернет, но здесь мы должны отметить, что Центральное Деловое Пространство предоставило отличный сервис, и принцип обработки оценок и построения отчётов в реальном времени не нарушался.

Контроль доступа обеспечивался персональными паролями.  Существовал и «гостевой» вход, позволяющий любому участнику фестиваля сделать импровизированные «ставки» на победителя в каждой номинации, а также поучаствовать в голосовании за «приз зрительских симпатий».

Мы благодарим организаторов Фестиваля за возможность поработать с данными, определяющими лидеров индустрии. Корректные алгоритмы оценки и удобный интерфейс для работы экспертов, как нам кажется, стали важными составляющими имиджа BEMA как честной и прозрачной премии. Что же касается EventPlatform как технологической компании, мы верим, что возможность быстро разработать подобный сервис и предоставить детальный анализ собранных данных будет и дальше востребован в event-сообществе, стремительно развивающемся и ставящем всё новые и новые задачи.

ЧИТАЙТЕ ТАКЖЕ В РУБРИКЕ live-research

Креативный бриф: задачи и решения. Россия

Вахтанг Вахтангишвили, креативный директор V-Events

Скрывать или не скрывать?

Спонсорство & Маркетинг