Исследователи выяснили, что большие языковые модели, такие как GPT-4o и Claude, не могут правильно подсчитать число букв «r» в слове «strawberry».
Они выдают ответ, что эта буква встречается в слове дважды, а не трижды.Большинство LLM построены на архитектуре трансформатора, который разбивает текст на токены в виде слов, слогов или букв.
Как объясняет доцент Университета Альберты Мэтью Гуздиал, «LLM… на самом деле не читает текст. Когда вы вводите подсказку, она переводится в кодировку.
Читать на habr.com