теория
Пока строился ассистент, Марина принесла с совета вопрос эпохи: «Конкуренты хвастаются собственными моделями. Может, и нам обучить свою?»
На этот вопрос есть история с датами. В 2023-м Bloomberg — терминал, с которого списан жанр нашего продукта, — обучил BloombergGPT: пятьдесят миллиардов параметров, сотни миллиардов финансовых токенов, месяцы дорогих вычислений. Специализированная модель для финансов, гордость и пресс-релизы. Через несколько месяцев вышли независимые замеры: универсальный GPT-4 — без единого финансового токена дообучения — обошёл её на финансовых задачах, местами в полтора раза. Bloomberg не стал строить BloombergGPT-2: следующее поколение их аналитики работает на универсальных моделях поверх их данных.
Мораль не «Bloomberg ошибся» — тогда это не было очевидно. Мораль в том, что обесценилось, а что нет — где на самом деле пролегает «моат», защитный ров бизнеса. Веса модели обесценил первый же релиз более сильной универсальной. Не обесценились: терминал, данные, за которые платят, разметка и оценка качества. Активы Bloomberg — не веса.
Наши активы после этого акта перечисляются без запинки:
Заметь симметрию: в тридцать шестом модуле сменными деталями стали модели прогноза, теперь — языковая модель. Несменяемое во всей платформе одно и то же: данные, контракты, экзамены. Инвестировать стоит в то, что не устаревает с чужим релизом, — а LLM подключать за API и менять, когда экзамен покажет выгоду.