3 заметки с тегом

GPT

Common Crawl в GPT-3

К слову, про обучающий датасет для GPT-3:

  • Common Crawl — открытый индекс интернета, занимает самый большой объем в обучающих данных. Сейчас как раз пишу статью про него.
  • WebText — датасет собранный OpenAI, лучшего качества чем CC.
  • Books1 и Books2 — набор текстов книг. Слету не нашел на них ссылок.
  • Wikipedia — только англоязычная часть.

Сэм Альтман на подкасте у Лекса Фридмана

Неплохое, немного философское интервью с Сэмом Альтманом, CEO OpenAI.

Меня интересовали технические подробности внутренней кухни компании, но их было мало. Про GPT-4, которая, как оказалось, была готова еще летом 2022, ничего нового, чего не было в релизе или в техническом отчете не добавили. Размер модели неизвестен, датасет неизвестен. Просто сказали, что брались как открытые (возможно, Common Crawl как в GPT-3), так и проприетарные датасеты и полностью переработали пайплайн обучения.

Однако, как мне кажется, одно из самых важных достижений было в том, что они научились предсказывать кривую обучения большой модели по предтренировке малой, что должно экономить кучу сил и времени на этапе подготовки к обучению большой модели. Получается что-то уровня фантастики, когда мы берем годовалого ребенка и можем предсказать, кем он будет к совершеннолетию.

Сильный ИИ

В разговоре про AGI, Сэм прямо подтвердил сомнения Яна Лекуна в том, что большие языковые модели это предшественники сильного искусственного интеллекта. Но, в отличие от Яна, который считает, что мы сошли с пути, Сэм думает, что это просто часть дороги в будущее.

Нас всех заменят

Ну и куда же без мема, про замену программистов при помощи ИИ, ага. В общем, после того, как глава самой передовой компании в сфере замены людей на машин заявил, что ему капец как сложно найти людей в команду, понимаешь, что таки да, еще покодим немного.

 Нет комментариев    101   2023   ChatGPT   GPT   OpenAI

GPT в таск трекерах

Интересно, кто уже наконец-то первый внедрит codex-like модели в таск трекеры, чтобы можно было назначить нейросеть исполнителем простенького таска или багфикса?

Нейроночка фиксит код и делает пулл реквест в ветку. Получается такой нейроджун. Пока что джун...