Неплохое, немного философское интервью с Сэмом Альтманом, CEO OpenAI.

Меня интересовали технические подробности внутренней кухни компании, но их было мало. Про GPT-4, которая, как оказалось, была готова еще летом 2022, ничего нового, чего не было в релизе или в техническом отчете не добавили. Размер модели неизвестен, датасет неизвестен. Просто сказали, что брались как открытые (возможно, Common Crawl как в GPT-3), так и проприетарные датасеты и полностью переработали пайплайн обучения.

Однако, как мне кажется, одно из самых важных достижений было в том, что они научились предсказывать кривую обучения большой модели по предтренировке малой, что должно экономить кучу сил и времени на этапе подготовки к обучению большой модели. Получается что-то уровня фантастики, когда мы берем годовалого ребенка и можем предсказать, кем он будет к совершеннолетию.

Сильный ИИ

В разговоре про AGI, Сэм прямо подтвердил сомнения Яна Лекуна в том, что большие языковые модели это предшественники сильного искусственного интеллекта. Но, в отличие от Яна, который считает, что мы сошли с пути, Сэм думает, что это просто часть дороги в будущее.

@ylecun в Twitter

Нас всех заменят

Ну и куда же без мема, про замену программистов при помощи ИИ, ага. В общем, после того, как глава самой передовой компании в сфере замены людей на машин заявил, что ему капец как сложно найти людей в команду, понимаешь, что таки да, еще покодим немного.

Впечатляет способность модели к описанию содержимого картинок, в том числе и встроенный очень качественный OCR. Попробовать бы ее применить к замаскированному тексту и тексту на других языках. А на моменте с белкой держащей камеру, стало понятно, что GPT-4 еще и умеет в понимание того, что на картинке не так.

Датасет для обучения собран до 2021 года включительно и выдача переодически содержит устаревшую информацию, например, код из устаревших версий библиотек. Однако, модель вполне себе может получить фиксы либ на вход и перегенерить исходник, учитывая новые особенности, как в примере с фиксом кода Discord бота, где контент сообщения стал обязательным полем в новом API. Но контекст пока не безлимитный, к сожалению, так что все не запихаешь.

И судя по всему, по сравнению с GPT-3.5 пофиксили способность GPT-4 к математическим расчетам. Эх, где же ты был, OpenAI когда ты был так нужен в мои времена антидемидовича на китайском...

Прикладная разработка переходит на уровень менеджера по продукту/системного аналитика и качество формулировки ТЗ будет решать. И на вопрос, какой лучше язык программирования изучать, ответом станет — английский.