# Оценка работы AI-помощника

Финальным этапом подключения вуза к проекту является проведение оценки качества построенного на основе собранной Базы Знания решения. Этот этап состоит из нескольких типов разметки. 

## Подготовка тестового сета AI-помощника
Тестовый сет – набор вопросов, на котором осуществляется оценка качества работы AI-помощника. Сбор тестового сета осуществляется через платформу TagMe на основе соответствующей инструкции. Этот сет используется для проведения оценки качества ответов AI-помощника и оценки качества поисковой системы.

## Оценка качества ответов AI-помощника
Пользователю предоставляется тестовый вопрос, источник вопроса в виде ссылки, правильный ответ и ответ AI-помощника. Необходимо с использованием инструкции на платформе TagMe определить, насколько качественно AI-помощник сгенерировал ответ. Ответ оценивается в двух разрезах – с точки зрения фактологической точности, а также пользовательского восприятия.

## Оценка качества поисковой системы
Пользователю предоставляется тестовый вопрос, источник вопроса в виде ссылки, правильный ответ и ответ AI-помощника. Необходимо с использованием инструкции на платформе TagMe определить, насколько качественно был найден релевантный контекст для ответа на вопрос.