теория
Как вообще «искать по смыслу»? Через геометрию.
— это перевод текста в вектор: от нескольких сотен до пары тысяч чисел, кодирующих его смысл. Главное свойство: у близких по смыслу текстов — близкие векторы. «Сыр помягче для ребёнка» и «нежная моцарелла для детского стола» не делят ни одного слова — но их векторы окажутся рядом, потому что модель эмбеддингов училась на текстах, где эти вещи означают одно и то же. — это просто «найди ближайшие векторы»: геометрическая задача, которую решает — индекс, заточенный под поиск соседей среди миллионов точек.
Дальше конвейер , и обе его половины тебе знакомы.
Индексация — путь письма: знание (карточки товаров, правила, описания фермеров) режется на куски, каждый кусок превращается в эмбеддинг и кладётся в индекс. Это — как поисковый индекс и витрины: источник истины остаётся в каталоге, индекс можно снести и пересобрать, а обновления едут инкрементально — через из журнала, тем же путём, что в поиск.
Запрос — путь чтения: вопрос покупателя тоже превращается в эмбеддинг, индекс отдаёт ближайшие куски, они подкладываются в контекст — и модель отвечает, опираясь на них, а не на фантазию. Заодно появляется то, чего у чистой модели нет в принципе: ссылка на источник. «Подписка на овощи работает так-то (правила, раздел 4)» — проверяемо.
Сравни это с файнтюном по осям курса. Волатильность: индекс обновляется минутами, веса — днями. Стоимость изменения: строка в индексе против обучения модели. Прозрачность: «вот кусок, на который я опирался» против «так получилось в весах». Для фактов выбор очевиден — что не отменяет файнтюна для тона и стиля: это разные оси.
Остался вопрос, который ты, возможно, уже задал сам: если индекс — производное представление… то от чего производное и как быстро оно обновляется? Держи его в голове — он выстрелит через минуту.