Оценка работы AI-помощника

Финальным этапом подключения вуза к проекту является проведение оценки качества построенного на основе собранной Базы Знания решения. Этот этап состоит из нескольких типов разметки.

Подготовка тестового сета AI-помощника

Тестовый сет – набор вопросов, на котором осуществляется оценка качества работы AI-помощника. Сбор тестового сета осуществляется через платформу TagMe на основе соответствующей инструкции. Этот сет используется для проведения оценки качества ответов AI-помощника и оценки качества поисковой системы.

Оценка качества ответов AI-помощника

Пользователю предоставляется тестовый вопрос, источник вопроса в виде ссылки, правильный ответ и ответ AI-помощника. Необходимо с использованием инструкции на платформе TagMe определить, насколько качественно AI-помощник сгенерировал ответ. Ответ оценивается в двух разрезах – с точки зрения фактологической точности, а также пользовательского восприятия.

Оценка качества поисковой системы

Пользователю предоставляется тестовый вопрос, источник вопроса в виде ссылки, правильный ответ и ответ AI-помощника. Необходимо с использованием инструкции на платформе TagMe определить, насколько качественно был найден релевантный контекст для ответа на вопрос.