{
    "version": "https:\/\/jsonfeed.org\/version\/1",
    "title": "Блог Артёма Агасиева: заметки с тегом OpenAI",
    "_rss_description": "Telegram: @aagasiev",
    "_rss_language": "ru",
    "_itunes_email": "",
    "_itunes_categories_xml": "",
    "_itunes_image": "",
    "_itunes_explicit": "",
    "home_page_url": "https:\/\/agasiev.com\/tags\/openai\/",
    "feed_url": "https:\/\/agasiev.com\/tags\/openai\/json\/",
    "icon": "https:\/\/agasiev.com\/user\/userpic@2x.jpg?1529202066",
    "author": {
        "name": "Артём Агасиев",
        "url": "https:\/\/agasiev.com\/",
        "avatar": "https:\/\/agasiev.com\/user\/userpic@2x.jpg?1529202066"
    },
    "items": [
        {
            "id": "106",
            "url": "https:\/\/agasiev.com\/all\/sem-altman-na-podkaste-u-leksa-fridmana\/",
            "title": "Сэм Альтман на подкасте у Лекса Фридмана",
            "content_html": "<div class=\"e2-text-video\">\n<iframe src=\"https:\/\/www.youtube.com\/embed\/L_Guz73e6fw\" frameborder=\"0\" allowfullscreen><\/iframe><\/div>\n<p>Неплохое, немного философское интервью с Сэмом Альтманом, CEO OpenAI.<\/p>\n<p>Меня интересовали технические подробности внутренней кухни компании, но их было мало. Про GPT-4, которая, как оказалось, была готова еще летом 2022, ничего нового, чего не было в релизе или в техническом отчете не добавили. Размер модели неизвестен, датасет неизвестен. Просто сказали, что брались как открытые (возможно, <a href=\"https:\/\/agasiev.com\/all\/common-crawl-v-gpt-3\/\">Common Crawl как в GPT-3<\/a>), так и проприетарные датасеты и полностью переработали пайплайн обучения.<\/p>\n<p>Однако, как мне кажется, одно из самых важных достижений было в том, что они научились предсказывать кривую обучения большой модели по предтренировке малой, что должно экономить кучу сил и времени на этапе подготовки к обучению большой модели. Получается что-то уровня фантастики, когда мы берем годовалого ребенка и можем предсказать, кем он будет к совершеннолетию.<\/p>\n<h2>Сильный ИИ<\/h2>\n<p>В разговоре про AGI, Сэм прямо подтвердил сомнения Яна Лекуна в том, что большие языковые модели это предшественники сильного искусственного интеллекта. Но, в отличие от Яна, который считает, что мы сошли с пути, Сэм думает, что это просто часть дороги в будущее.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/agasiev.com\/pictures\/1111.png\" width=\"700\" height=\"202\" alt=\"\" \/>\n<div class=\"e2-text-caption\"><a href=\"https:\/\/twitter.com\/ylecun\/status\/1621805604900585472\">@ylecun в Twitter<\/a><\/div>\n<\/div>\n<h2>Нас всех заменят<\/h2>\n<p>Ну и куда же без мема, про замену программистов при помощи ИИ, ага. В общем, после того, как глава самой передовой компании в сфере замены людей на машин заявил, что ему капец как сложно найти людей в команду, понимаешь, что таки да, еще покодим немного.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/agasiev.com\/pictures\/2222.png\" width=\"400\" height=\"575\" alt=\"\" \/>\n<\/div>\n",
            "date_published": "2023-03-26T01:33:41+03:00",
            "date_modified": "2023-03-27T19:32:19+03:00",
            "image": "https:\/\/agasiev.com\/pictures\/remote\/youtube-L_Guz73e6fw-cover.jpg",
            "_date_published_rfc2822": "Sun, 26 Mar 2023 01:33:41 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "106",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/agasiev.com\/pictures\/remote\/youtube-L_Guz73e6fw-cover.jpg",
                    "https:\/\/agasiev.com\/pictures\/1111.png",
                    "https:\/\/agasiev.com\/pictures\/2222.png"
                ]
            }
        },
        {
            "id": "95",
            "url": "https:\/\/agasiev.com\/all\/gpt-4-developer-livestream\/",
            "title": "GPT-4 Developer Livestream",
            "content_html": "<div class=\"e2-text-video\">\n<iframe src=\"https:\/\/www.youtube.com\/embed\/outcGtbnMuQ\" frameborder=\"0\" allowfullscreen><\/iframe><\/div>\n<p>Впечатляет способность модели к описанию содержимого картинок, в том числе и встроенный очень качественный OCR. Попробовать бы ее применить к замаскированному тексту и тексту на других языках. А на моменте с белкой держащей камеру, стало понятно, что GPT-4 еще и умеет в понимание того, что на картинке не так.<\/p>\n<p>Датасет для обучения собран до 2021 года включительно и выдача переодически содержит устаревшую информацию, например, код из устаревших версий библиотек. Однако, модель вполне себе может получить фиксы либ на вход и перегенерить исходник, учитывая новые особенности, как в примере с фиксом кода Discord бота, где контент сообщения стал обязательным полем в новом API. Но контекст пока не безлимитный, к сожалению, так что все не запихаешь.<\/p>\n<p>И судя по всему, по сравнению с GPT-3.5 пофиксили способность GPT-4 к математическим расчетам. Эх, где же ты был, OpenAI когда ты был так нужен в мои времена антидемидовича на китайском...<\/p>\n<p>Прикладная разработка переходит на уровень менеджера по продукту\/системного аналитика и качество формулировки ТЗ будет решать. И на вопрос, какой лучше язык программирования изучать, ответом станет — английский.<\/p>\n",
            "date_published": "2023-03-16T19:12:57+03:00",
            "date_modified": "2023-03-16T19:11:51+03:00",
            "image": "https:\/\/agasiev.com\/pictures\/remote\/youtube-outcGtbnMuQ-cover.jpg",
            "_date_published_rfc2822": "Thu, 16 Mar 2023 19:12:57 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "95",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/agasiev.com\/pictures\/remote\/youtube-outcGtbnMuQ-cover.jpg"
                ]
            }
        }
    ],
    "_e2_version": 3576,
    "_e2_ua_string": "E2 (v3576; Aegea)"
}