Пришла пора обновить КЭП и тут, очень удачно, налоговая напомнила, что не обязательно топать ножками к ним в офис, достаточно просто перевыпустить подпись на их сайте. Но есть нюанс: для этого авторизовываться на сайте надо только с КЭП, а вход по логину/паролю или с авторизацией через Госуслуги ничего не даст. Так что, если подпись уже просрочена, придется по старинке топать ножками в это прекрасное заведение.

Ну ладно, поехали. На старте, испытал приличное количество проблем и боли с заходом на сайт ФНС с ЭЦП, пока не запустил Яндекс браузер в режиме —no-sandbox (да, оказывается инструкции полезно читать):

/Applications/Yandex.app/Contents/MacOS/Yandex --no-sandbox

Работать в этом режиме постоянно я бы совершенно точно не стал, ибо крайне небезопасно и может повлечь исполнение вредоносного JS кода на компьютере. Но разочек можно, главное не увлекаться.

Далее все просто, по шагам делаем запросы на выпуск подписи, на отзыв старой подписи и ее запись на токен и перезапускаем браузер. Ошибиться там практически невозможно.

Если в процессе возникнут зависания с бесконечным ожиданием загрузки, недозагрузившиеся экраны и прочие странные ошибки, то у меня они устранялись выходом и входом заново по КЭП или простой перезагрузкой страницы.

Stanford 2023 AI Index Report

В чем принципиальное отличие Copilot от DALL-E, Midjourney и Stable Diffusion? Диффузионные модели могут создавать законченное произведение, а Copilot умеет давать только контекстные подсказки, хоть и очень обширные и полезные. То есть, Copilot ускоряет, а DALL-E заменяет.

Но вот, если он таки научится по нечетко сформулированному ТЗ (удачи, кек) создавать законченное ПО, то это будет оказывать влияние на программистов сильнее, чем сетки генерирующие искусство на художников. В искусстве все же ценится автор, его видение и персоналия, а на то как и кем написан код всем наплевать, пока он работает и не выполняет жизненно важные функции.

В этот момент четко осознаешь, что ты точно такой же утилитарный инструмент в руках заказчика/начальника, как Copilot в твоих. В общем, забавно будет посмотреть куда это все разовьется :)

К слову, про обучающий датасет для GPT-3:

• Common Crawl — открытый индекс интернета, занимает самый большой объем в обучающих данных. Сейчас как раз пишу статью про него.
• WebText — датасет собранный OpenAI, лучшего качества чем CC.
• Books1 и Books2 — набор текстов книг. Слету не нашел на них ссылок.
• Wikipedia — только англоязычная часть.

Неплохое, немного философское интервью с Сэмом Альтманом, CEO OpenAI.

Меня интересовали технические подробности внутренней кухни компании, но их было мало. Про GPT-4, которая, как оказалось, была готова еще летом 2022, ничего нового, чего не было в релизе или в техническом отчете не добавили. Размер модели неизвестен, датасет неизвестен. Просто сказали, что брались как открытые (возможно, Common Crawl как в GPT-3), так и проприетарные датасеты и полностью переработали пайплайн обучения.

Однако, как мне кажется, одно из самых важных достижений было в том, что они научились предсказывать кривую обучения большой модели по предтренировке малой, что должно экономить кучу сил и времени на этапе подготовки к обучению большой модели. Получается что-то уровня фантастики, когда мы берем годовалого ребенка и можем предсказать, кем он будет к совершеннолетию.

Сильный ИИ

В разговоре про AGI, Сэм прямо подтвердил сомнения Яна Лекуна в том, что большие языковые модели это предшественники сильного искусственного интеллекта. Но, в отличие от Яна, который считает, что мы сошли с пути, Сэм думает, что это просто часть дороги в будущее.

@ylecun в Twitter

Нас всех заменят

Ну и куда же без мема, про замену программистов при помощи ИИ, ага. В общем, после того, как глава самой передовой компании в сфере замены людей на машин заявил, что ему капец как сложно найти людей в команду, понимаешь, что таки да, еще покодим немного.