Когда модель выдает ерунду, это результат того, что она жестко привязана к фактуре, на которой обучалась, и движется внутри вероятностных соотношений этой фактуры, а не внутри мира так, как это делает человек.

Ребенку достаточно один раз показать кошку, чтобы потом он отличал кошек от собак в самых разных условиях, при другом освещении, в другой позе, даже в другой степени схематичности, тогда как языковой модели или системе распознавания нужны огромные массивы примеров, после чего она начинает демонстрировать что-то похожее на обобщение.
Именно поэтому нынешнее развитие искусственного интеллекта не может считаться финальной стадией истории: https://postnauka.org/talks/158024