Блог Артёма Агасиева

Кэшбэк 10% за торговлю через API

Артём Агасиев — Wed, 23 Jul 2025 16:06:15 +0300

Тинькоф раздает кэшбэк 10% за торговлю через его API.

Не знаю, подключается ли автоматически, поэтому можно просто совершить хотя бы одну сделку и написать в техподдержку.

В целом, приятная скидка, если не хочется менять брокера.

Платный маржин-колл

Артём Агасиев — Wed, 23 Jul 2025 13:31:31 +0300

Впервые в жизни вижу платный маржин-колл, хах.

Хотя, коллеги криптаны говорят, что у них это популярное явление.

Алор брокер, мое почтение.

Импортозамещение в ВТБ

Артём Агасиев — Wed, 23 Jul 2025 13:24:07 +0300

Штош,

В ВТБ брокере из-за импортозамещения (базу поменяли?) сейчас невозможно заказать брокерский отчет за 2025 год целиком.

Только с 1 мая по текущий день, а с января по апрель — вручную по месяцам. Ну или просить персонального менеджера себе собрать такой отчет.

Это, мягко скажем, очень странное продуктовое решение. Ну сменили вы базу, окей, с кем не бывает, ну сделайте просто два запроса к двум разым базам (миграцию еще не придумали, допустим или это технически невероятно сложно), клиента же это волновать не должно совершенно.

Странно это все.

amoCRM & ИИ

Артём Агасиев — Fri, 14 Mar 2025 14:17:20 +0300

Смотрю интервью с Михаилом Токовининым (amoCRM), он немного рассуждает про ИИ, рассказывает, что они внедряют его у себя: суммаризации, ответы, все дела.

Интервьюер: Много людей пользуется этим функционалом?
Токовинин: Вообще не пользуются.

Стек для реестра отечественного ПО

Артём Агасиев — Wed, 30 Aug 2023 17:06:17 +0300

Рекомендованный технологический стек для включения вашего софта в реестр отечественного ПО:

https://ru-ikt.ru/metodic

В Go завезли функции min и max

Артём Агасиев — Wed, 09 Aug 2023 19:41:23 +0300

Ура, в release notes к go 1.21:

The new functions min and max compute the smallest (or largest, for max) value of a fixed number of given arguments.

Хвала богам, не прошло и 10 лет, как в Go завезли такие нужные функции — min и max.

Определяем расширение файла в Python

Артём Агасиев — Sat, 29 Jul 2023 03:57:17 +0300

Потребовалось сейчас сделать быструю проверку того, что тип скачиваемого программой файла — картинка в формате webp, а если это не она, то не качать ее вовсе, ну или хотя бы не полностью.

Самый быстрый способ — сделать HEAD запрос и проверить content-type, например, с помощью питоновской библиотеки mimetypes:


import requests
import mimetypes

r = requests.head("https://.../image.webp")
file_ext = mimetypes.guess_extension(r.headers.get("content-type"), strict=False)

if file_ext == "webp":
    pass

Можно ли точно полагаться на ответ сервера? В целом, нет, ведь даже если этот заголовок с виду корректен, то в тело ответа сервер может запихнуть что угодно. Однако, можно отсеивать очевидно ненужные варианты типа text/plain или чего-то подобного.

А еще бывает так, что нужный файл отдается с не тем типом контента. Например, в моем случае нужное хранилище AWS S3 грешило тем, что отдавало файл картинки с заголовком binary/octet-stream.

А еще HEAD запрос может не поддерживаться веб-сервером.

И что делать-то? Будем использовать обертку над libmagic, библиотеку python-magic. Она позволит нам по небольшому чанку данных узнать mime тип получаемого контента.


import os
import magic
import requests
import mimetypes

local_filename = "/local/file/name.webp"

r = requests.get("https://.../image.webp", stream=True)
f = open(local_filename, "wb")

for chunk in r.iter_content(1024):
    mime = magic.from_buffer(chunk, mime=True)
    file_ext = mimetypes.guess_extension(mime, strict=False)

    if new_file_ext != "webp":
        f.close()
        os.remove(local_filename)
        break

    f.write(chunk)
else:
    f.close()
    # Тут уже что-то можем делать с полученным файлом.

Вроде, выглядит норм. Ну, еще обработку ошибок добавить бы не помешало, да.

Но вот с точки зрения работы с сетью есть некоторые сомнения, что в случае вызова break, requests реально считает только 1 кб данных. Беглое гугление скорее усугубило мои сомнения. Надо иметь это в виду и как-нибудь на досуге реально протестировать.

В общем, все.

P.S. Если mimetypes не смогла определить расширение файла webp по типу контента image/webp, то его стоит добавить вручную в один из файлов mime.types вашей системы. Например, для Ubuntu это файл /etc/mime.types, в который надо добавить строку:


image/webp    webp

Другие файлики, откуда mimetypes может загружать себе данные, прописаны в самой библиотеке в массиве knownfiles:


knownfiles = [
    "/etc/mime.types",
    "/etc/httpd/mime.types",                    # Mac OS X
    "/etc/httpd/conf/mime.types",               # Apache
    "/etc/apache/mime.types",                   # Apache 1
    "/etc/apache2/mime.types",                  # Apache 2
    "/usr/local/etc/httpd/conf/mime.types",
    "/usr/local/lib/netscape/mime.types",
    "/usr/local/etc/httpd/conf/mime.types",     # Apache 1.2
    "/usr/local/etc/mime.types",                # Apache 1.3
]

Ошибки энкодера go-webp

Артём Агасиев — Wed, 26 Jul 2023 04:10:56 +0300

Оказывается, единственная работающая WebP энкодер библиотека go-webp не умеет писать в bytes.Buffer через bufio.NewWriter() картинки маленького размера.

То есть, у меня кропы пользовательских аватарок разрешением меньше 200х200 пикселей стабильно получались весом в ноль байт. Это разрешение может немного меняться, в зависимости от картинки.

Однако, происходит это только в Lossy энкодере, Lossless работает нормально. Но кому он нужен, с его гигантскими файлами.

Выход, внезапно, прост и банален: делать надо 1 в 1 как в официальном примере, то бишь, писать все сразу в файл. Тогда картинка получится нормального размера и все будет хорошо.

Почему так происходит разбираться, если честно, лень. Если кто-то докопается до истины, отпишитесь пожалуйста.

Gmail и точка

Артём Агасиев — Wed, 19 Jul 2023 15:21:17 +0300

Забавный факт, который мало кто учитывает при написании кода регистрации юзеров: точки в почтовом адресе Gmail не имеют значения.

То есть, с точки зрения гуглопочты, эти адреса равны между собой:

johnsmith@gmail.com
john.smith@gmail.com
jo.hn.sm.ith@gmail.com
j.o.h.n.s.m.i.t.h@gmail.com

Этим хаком часто пользуются спамеры, которые могут зарегистрировать на одну почту кучу аккаунтов и атаковать с них ваш сервис.

Так что, для внутреннего поиска/индексации все точки в gmail.com адресах лучше удалить. Главное, самому пользователю показывать почту в том виде, в котором он ее ввел, а то испугается и побежит в саппорт.

Список доменов временных почтовых адресов

Артём Агасиев — Mon, 05 Jun 2023 02:15:05 +0300

Отличный список доменов временных почтовых адресов от Питера Левелса:

https://photoai.com/tempEmailList.txt

Можно прям все разом в бан, не ошибетесь, ничего нормального я с них никогда не видел.

Перевыпуск квалифицированной электронной подписи на сайте налоговой

Артём Агасиев — Fri, 02 Jun 2023 01:12:14 +0300

Пришла пора обновить КЭП и тут, очень удачно, налоговая напомнила, что не обязательно топать ножками к ним в офис, достаточно просто перевыпустить подпись на их сайте. Но есть нюанс: для этого авторизовываться на сайте надо только с КЭП, а вход по логину/паролю или с авторизацией через Госуслуги ничего не даст. Так что, если подпись уже просрочена, придется по старинке топать ножками в это прекрасное заведение.

Ну ладно, поехали. На старте, испытал приличное количество проблем и боли с заходом на сайт ФНС с ЭЦП, пока не запустил Яндекс браузер в режиме —no-sandbox (да, оказывается инструкции полезно читать):

/Applications/Yandex.app/Contents/MacOS/Yandex --no-sandbox

Работать в этом режиме постоянно я бы совершенно точно не стал, ибо крайне небезопасно и может повлечь исполнение вредоносного JS кода на компьютере. Но разочек можно, главное не увлекаться.

Далее все просто, по шагам делаем запросы на выпуск подписи, на отзыв старой подписи и ее запись на токен и перезапускаем браузер. Ошибиться там практически невозможно.

Если в процессе возникнут зависания с бесконечным ожиданием загрузки, недозагрузившиеся экраны и прочие странные ошибки, то у меня они устранялись выходом и входом заново по КЭП или простой перезагрузкой страницы.

Stanford 2023 AI Index Report

Артём Агасиев — Tue, 04 Apr 2023 00:55:59 +0300

Stanford 2023 AI Index Report

Copilot vs DALL-E

Артём Агасиев — Tue, 28 Mar 2023 01:29:35 +0300

В чем принципиальное отличие Copilot от DALL-E, Midjourney и Stable Diffusion? Диффузионные модели могут создавать законченное произведение, а Copilot умеет давать только контекстные подсказки, хоть и очень обширные и полезные. То есть, Copilot ускоряет, а DALL-E заменяет.

Но вот, если он таки научится по нечетко сформулированному ТЗ (удачи, кек) создавать законченное ПО, то это будет оказывать влияние на программистов сильнее, чем сетки генерирующие искусство на художников. В искусстве все же ценится автор, его видение и персоналия, а на то как и кем написан код всем наплевать, пока он работает и не выполняет жизненно важные функции.

В этот момент четко осознаешь, что ты точно такой же утилитарный инструмент в руках заказчика/начальника, как Copilot в твоих. В общем, забавно будет посмотреть куда это все разовьется :)

Common Crawl в GPT-3

Артём Агасиев — Sun, 26 Mar 2023 02:23:32 +0300

К слову, про обучающий датасет для GPT-3:

Common Crawl — открытый индекс интернета, занимает самый большой объем в обучающих данных. Сейчас как раз пишу статью про него.
WebText — датасет собранный OpenAI, лучшего качества чем CC.
Books1 и Books2 — набор текстов книг. Слету не нашел на них ссылок.
Wikipedia — только англоязычная часть.

Сэм Альтман на подкасте у Лекса Фридмана

Артём Агасиев — Sun, 26 Mar 2023 01:33:41 +0300

Неплохое, немного философское интервью с Сэмом Альтманом, CEO OpenAI.

Меня интересовали технические подробности внутренней кухни компании, но их было мало. Про GPT-4, которая, как оказалось, была готова еще летом 2022, ничего нового, чего не было в релизе или в техническом отчете не добавили. Размер модели неизвестен, датасет неизвестен. Просто сказали, что брались как открытые (возможно, Common Crawl как в GPT-3), так и проприетарные датасеты и полностью переработали пайплайн обучения.

Однако, как мне кажется, одно из самых важных достижений было в том, что они научились предсказывать кривую обучения большой модели по предтренировке малой, что должно экономить кучу сил и времени на этапе подготовки к обучению большой модели. Получается что-то уровня фантастики, когда мы берем годовалого ребенка и можем предсказать, кем он будет к совершеннолетию.

Сильный ИИ

В разговоре про AGI, Сэм прямо подтвердил сомнения Яна Лекуна в том, что большие языковые модели это предшественники сильного искусственного интеллекта. Но, в отличие от Яна, который считает, что мы сошли с пути, Сэм думает, что это просто часть дороги в будущее.

@ylecun в Twitter

Нас всех заменят

Ну и куда же без мема, про замену программистов при помощи ИИ, ага. В общем, после того, как глава самой передовой компании в сфере замены людей на машин заявил, что ему капец как сложно найти людей в команду, понимаешь, что таки да, еще покодим немного.

Век живи, блин

Артём Агасиев — Fri, 24 Mar 2023 17:09:17 +0300

В API методе, который я делал для сервиса, в HTTP GET запросе заказчик хотел, чтобы одно из полей могло принимать список значений (id’шники юзеров) разделенных точкой с запятой. Вот примерно так:

/api/processUsers?user_ids=1;2;3;4;5

Реализовал нужную функцию в Go, запускаю тест и получаю предупреждение:

http: URL query contains semicolon, which is no longer a supported separator; parts of the query may be stripped when parsed; see golang.org/issue/25192

Оказалось, что W3C в рекомендациях от 1999 года, допускало использование точки с запятой, в качестве разделителя параметров URL, в дополнение к амперсанду.

Это было сделано для сохранения совместимости с SGML (предшественником HTML), в котором амперсанд всегда был началом мнемоники или кода символа (например & amp; или & #39;), откуда возникал конфликт с его использованием в URI. Поэтому, амперсанд в URI приходилось эскейпить, из-за чего уже возникали проблемы парсинга параметров на стороне сервера, а так же у браузера, в том, как их посылать. Поэтому и предложили бахнуть точку с запятой как разделитель, чтобы не иметь проблем с эскейпом.

А в 2014 году, W3C отменил эту рекомендацию и теперь допустимым символом является только амперсанд:

Let strings be the result of strictly splitting the string payload on U+0026 AMPERSAND characters (&).

Надо будет запомнить этот момент и проверять его в тест-кейсах во время обращения в веб-серверу.

А нужно ли вообще рассматривать все жалобы в соцсетях?

Артём Агасиев — Fri, 24 Mar 2023 02:17:35 +0300

Наступает неприятный момент, когда модерация социальной сети начинает задыхаться от наплыва жалоб пользователей на контент.

Возникает логичный вопрос: Как уменьшить нагрузку на модераторов?

Да, можно придумать умных AI помощников, классификации жалоб на группы и т. д. Но может, для начала, нужно спросить себя: А важны ли все жалобы от всех пользователей?

Многие жалуются просто из-за плохого настроения или просто потому, что не согласны с мнением оппонента в сетевой диванно-позиционной войне. По сути, это может быть нормальный контент, который просто не нравится конкретному человеку.

Какой выход? Для определенных типов жалоб нужно создавать видимость того, что пользователь был услышан: временно скрывать контент от жалобщика, т. е. в рамках одной сессии поставить

display:none

html блоку или вообще удалить его, а саму жалобу отправить в /dev/null. Если вариантов жалоб несколько, то можно скрыть этот функционал в «Жалобы — Прочее» или прямо так и назвать «Жалобы — Я не согласен с юзером». Работает, проверено.

В самом крайнем случае, ставить счетчик на количество жалоб на пользователя и его контент и по превышению некоторого порога отправлять на модерацию.

Исключение — время прохождения модерации при публикации в AppStore или Google Play, в этот момент нужно включать модерацию любого контента на максимум, особенно 18+. Ведь хрен знает, на что может пожаловаться модератор маркета, а релиз, обычно, очень не хочется задерживать из-за возни с какой-то мелочью.

Copilot в России

Артём Агасиев — Tue, 21 Mar 2023 12:52:30 +0300

Собственно, ничего сложного в том, чтобы запустить Copilot в России нет. Нужно иметь западную карточку Visa/Mastercard и указать платежный адрес вне России. И все это лучше делать под VPN.

Пару месяцев назад после установки и настройки сам Copilot работал в РФ без проблем, но лафа закончилась:

Если увидели такое сообщение, то надо включить VPN и перезагрузить VS Code, а то до перезагрузки копилот уже не заработает.

GPT в таск трекерах

Артём Агасиев — Mon, 20 Mar 2023 01:40:05 +0300

Интересно, кто уже наконец-то первый внедрит codex-like модели в таск трекеры, чтобы можно было назначить нейросеть исполнителем простенького таска или багфикса?

Нейроночка фиксит код и делает пулл реквест в ветку. Получается такой нейроджун. Пока что джун...

GPT-4 Developer Livestream

Артём Агасиев — Thu, 16 Mar 2023 19:12:57 +0300

Впечатляет способность модели к описанию содержимого картинок, в том числе и встроенный очень качественный OCR. Попробовать бы ее применить к замаскированному тексту и тексту на других языках. А на моменте с белкой держащей камеру, стало понятно, что GPT-4 еще и умеет в понимание того, что на картинке не так.

Датасет для обучения собран до 2021 года включительно и выдача переодически содержит устаревшую информацию, например, код из устаревших версий библиотек. Однако, модель вполне себе может получить фиксы либ на вход и перегенерить исходник, учитывая новые особенности, как в примере с фиксом кода Discord бота, где контент сообщения стал обязательным полем в новом API. Но контекст пока не безлимитный, к сожалению, так что все не запихаешь.

И судя по всему, по сравнению с GPT-3.5 пофиксили способность GPT-4 к математическим расчетам. Эх, где же ты был, OpenAI когда ты был так нужен в мои времена антидемидовича на китайском...

Прикладная разработка переходит на уровень менеджера по продукту/системного аналитика и качество формулировки ТЗ будет решать. И на вопрос, какой лучше язык программирования изучать, ответом станет — английский.