Подготовка источников данных

Для того чтобы AI-помощник мог отвечать на вопросы абитуриентов и других участников высшей школы необходимо подготовить набор источников для Базы Знаний образовательной организации.

У каждой организации есть свои официальные веб-страницы, которые являются полезными источниками информации. Главная страница сайта университета, например https://spbu.ru, сайта отдельного факультета вуза (https://math.spbu.ru / https://apmath.spbu.ru) или сайта, посвященного мероприятию или направлению деятельности вуза (https://abiturient.spbu.ru), называется доменом.

Задача подготовки источников состоит в том, чтобы собрать и загрузить список таких доменов через платформу TagMe, чтобы мы могли собрать все ссылки, размещенные на данном домене/сайте.

Пример списка доменов

 - https://spbu.ru
 - https://math.spbu.ru
 - https://apmath.spbu.ru
 - ...
 - https://abiturient.spbu.ru