Система проведения экспертиз грантовых проектов для "Инконсалт К"

Проект

С 2010 года компания выполняет функции оператора двух крупных государственных программ, осуществляя их организационно-техническое, информационное и аналитическое сопровождение: комплексные кооперационные проекты по созданию высокотехнологичного производства (Постановление №218) и программа мегагрантов, объединяющая ведущих мировых учёных (Постановление №220). Среди заказчиков услуг Министерство науки и высшего образования Российской Федерации, Федеральное агентство «Россотрудничество» и ряд крупных технологических корпораций.

Для экспертизы конкурсных инициатив привлекаются 4200 экспертов из 30 стран. Для работы с ними «Инконсалт К» более 10 лет пользовались системой для проведения экспертизы, которой владеет ФБГНУ «Дирекция научно-технических программ», занимающаяся реализацией федеральных целевых программ. С течением времени пользоваться системой стало всё менее удобно: функциональность не позволяла полноценно решать задачи компании, а менять чужую систему не было возможности. Компания увидела оптимальное решение в разработке собственной системы.

Задачи

Новая система должна была решать следующие задачи.

Отбирать проекты для экспертизы
Для экономии рабочего времени экспертов нужно было обеспечить высокое качество объектов экспертизы на входе — отсеивать заведомо нерелевантные, плохо оформленные или плохо проработанные проекты.

Собрать всех экспертов
До сих пор вместо единого стандартизованного списка использовались разрозненные таблицы в Excel. Необходимо было создать единую экспертную среду, позволяющую взаимодействовать с экспертами, оценивать их работу и опыт взаимодействия с ними. И первый шаг на этом пути — создание сводного реестра экспертов.

Ускорить процессы экспертизы
Автоматизация большинства типовых процессов позволила бы высвободить десятки часов рабочего времени кураторов и экспертов и обеспечить наилучшее качество экспертизы. В том числе, позволить проводить сравнительный анализ заявок, составлять сводные заключения на основе частных заключений экспертов.

Создать единое рабочее пространство
Все объекты экспертизы, сопутствующие им документы, задания на экспертизу, частные заключения экспертов и сводная экспертиза на их основе должны были сосредоточиться в единственной информационной системе с доступом через Интернет и разграничением прав пользователей.

Упростить работу кураторов
Кураторы, отвечающие за своевременность и качество экспертиз, должны были получить гибкий и эффективный инструмент управления экспертизами: возможность настраивать сроки, регламенты, приглашать релевантных экспертов и оценивать их работу, контролировать выполнение работ. Необходимо было также обеспечить быстрое обучение новых пользователей, чтобы они как можно быстрее включались в работу.

Реализация

Для отбора объектов рассмотрения мы внедрили TOT Воронку — систему отбора инициатив, разработанную нами именно для решения таких задач. Проекты, прошедшие отбор, передавались на следующий этап в систему экспертиз.

Под требования к системе проведения экспертиз оптимально подошло наше решение TOT Экспертиза: современный адаптивный дизайн, возможность гибкой настройки форм, регламентов и ролей, инструменты комплексной оценки и формирования сводных экспертных заключений. Основная задача — облегчение и ускорение работы экспертов — решается нашей системой по умолчанию. Все материалы для экспертизы (объекты, методика оценки, документы) собраны в одной веб-форме.

Мы развернули двуязычную систему проведения экспертиз, перенесли в единый реестр экспертов данные из разрозненных таблиц, настроили импорт в TOT Expertise заявок из запущенных на тот момент экспертных кампаний.

Эксперты — занятые люди, их время слишком дорого, чтобы тратить его на изучение объёмных печатных инструкций. Поэтому обучение работе с системой мы упаковали в серию коротких ёмких видеороликов.

Работу над проектом мы начали в июле 2020 года, и уже в августе в системе начали проводить первые экспертные кампании. Со стороны «Инконсалт К» проектом занимались заместитель директора, руководитель отдела экспертиз и группа кураторов экспертиз. С нашей — аналитики, разработчики и тестировщики, практически вся команда.

Итог

Что получил заказчик

1. Собственную систему отбора и экспертизы проектов. Гибкую и современную платформу, которую он может настраивать по своему усмотрению, не прибегая к помощи разработчиков. Экспертные кампании можно проводить по готовым шаблонам или настраивать любые их характеристики: поля в анкетах, роли пользователей, жизненный цикл задания на экспертизу и сроки выполнения заданий, автоматические уведомления. Запустить такую кампанию, включающую тысячи объектов и задействующую сотни экспертов, теперь может один сотрудник практически за несколько кликов. Всё общение между пользователями происходит внутри системы, они получают автоматические почтовые уведомления о каждом событии, связанном с их работой. Здесь же заказчик может заключать договора с экспертами, откликнувшимися на приглашение.
2. Единый реестр экспертов. Подробный список всех экспертов, когда-либо приглашённых и участвовавших в экспертных кампаниях, включая данные о научных публикациях, аффилированности эксперта, все его заключения, комментарии и оценки его работы куратором. Эксперты ранжируются на основе оценок их работы, включая качество и скорость проведения экспертизы и частоту отказов от участия в экспертизе. При создании новой экспертной кампании система автоматически подбирает релевантных экспертов с наиболее высоким рейтингом и рассылает им автоматические приглашения Каждый эксперт теперь получает автоматическое приглашение к участию в релевантной экспертной кампании на русском или английском языке.
3. Ускорение процессов экспертизы. Благодаря автоматизации процессов  организации кампании, созыва экспертов, сбора заключений и формирования сводного заключения стало возможным проводить больше экспертиз в единицу времени.
4. Журнал отказов экспертов. Этого крайне необходимого заказчику инструмента раньше просто не было, мы создали его с нуля. Если эксперт отказывается от участия в экспертизе, он может обосновать свой отказ, и это влияет на его рейтинг в системе. Сбор такой обратной связи от экспертов позволяет повышать удобство и функциональность системы, делает рейтинг экспертов более корректным, а также улучшает понимание заказчика о реальных сроках проведения той или иной экспертизы.
5. Удобный инструмент для удалённой работы с международными экспертами. По отзывам пользователей, проводить онлайн-экспертизу в системе стало намного удобнее, и эксперты готовы работать в ней и дальше. Некоторые эксперты дали ценные замечания, которые будут учтены при развитии проекта.

Показатели в первый месяц

6 кампаний
проведено в новой системе

1700 заданий
на экспертизу выдано в системе

500 экспертов
приняли участие в экспертизах

500 объектов
прошли экспертизу