Прочитал, там именно технических подробностей мало приводится, ведь опенаи их не раскрывает. Единственное, что ясно, что это по-прежнему языковая модель, то есть всё так же буква за буквой, а интеллектом и не пахнет. Наверное, массовое использование чатгпт позволило настроить гпт-4 ещё лучше, но ведь одновременно выросла и стоимость токена, вернувшись на уровень самых первых моделей.
Что интересно, недавно узнал, что была смоделирована досконально изученная нервная система из 300 с чем-то нейронов какого-то червяка, а его внешняя среда задавалась как параметры на входе, но модель так и не заработала как живой червяк.