Влад Соколовский

AI-инженер, автор статей и ментор для разработчиков

Вернуться
Telegram-пост

Open-weight модели и будущее AI-инфраструктуры

  • #ai

Open-weight модели и будущее AI-инфраструктуры

Первым коммерческим опытом для меня была стажировка в компании Red Hat.

Тогда для меня было контринтуитивно, как компания может зарабатывать такие деньги на Open Source-решениях типа RHEL и OpenShift.

Мой колхозяцкий мозг думал: «Зачем клиентам платить за софт, который можно скачать и запустить на своих серверах???» Со временем я, конечно, понял, что основная ценность для бизнеса — не просто программа, а поддержка, понятный SLA, обновления и security fixes. Это всегда был самый дорогой компонент любого софта.

Но почему бы тогда просто не купить проприетарное решение? Зачем платить третьей компании за Open Source Linux-дистрибуцию? Разве на рынке нет других достойных решений?

Есть три ответа:

  1. Прозрачность. Ваши безопасники могут сделать security-аудит и удостовериться, что там нет backdoors и какой-нибудь скрытой телеметрии. Если ваши инженеры заметили баг, не нужно ждать полжизни, пока его пофиксят: каждый может открыть PR и предложить изменения.
  2. Стандарт. Вам будет намного легче захайрить людей, которые умеют работать с этой технологией. Не нужно строить команду вокруг работы с закрытым SDK одного вендора.
  3. Меньший vendor lock-in. Да, он всё равно есть. Но если поставщик вам прям поднасрал, то поменять его будет куда легче, чем в случае покупки годовой лицензии на проприетарный софт.

Тот факт, что Linux для бизнеса просто лучше любых closed-source OS, я с вашего позволения умолчу.

К чему я это…

Китайские (и не только) open-weight модели отхватят огромный сегмент формирующегося рынка. Не потому что каждая из них лучше Claude или GPT, а потому что приходит время, когда даже западным кабанычам, не говоря уже о РФ, будет выгоднее запустить модель внутри своего контура, тюнить её на своих данных, контролировать стоимость и не зависеть от одного API-поставщика. Не говоря о том, что gap качества сокращается и Kimi K3 вроде как ничем им уже не уступает, и я уверен, что прогресс этот завязан не только на дистилляции американских моделей. Коллеги из Поднебесной строят самые быстрые поезда, дроны, электрические авто… Что такого сложного в тренировке моделей ИИ и почему амеры думают, что всё это — лишь продукт дистилляции их труда? 😁

Фан фэкт: open weights и Open Source — не совсем одно и то же. Открытые веса не гарантируют, что лицензия не наложит ограничений.

Компании, которые целятся в эффективный serving этих моделей и строят вокруг них нормальный cowork-like harness, озолотятся. Не «чатик с выбранной моделью», а весь слой, за который платят Red Hat: deployment, права доступа, observability, evals, тонкая настройка, поддержка и SLA. Сами веса, как уже говорилось ранее, со 100% вероятностью станут commodity.

Значит ли это, что OpenAI и Anthropic обречены? Конечно нет. Весь B2C-сектор, кроме гиков, будет пользоваться проприетарными AI-продуктами, потому что они лучше упакованы и обычно дают самый сильный опыт из коробки. OSS никогда не был силён в потребительском секторе. Да, часть бизнес-клиентов предпочтёт OSS, но многие просто останутся на удобном решении от Anthropic/OpenAI.

Пирог настолько большой, что места хватит всем. Но бизнесы всё чаще будут задумываться, прежде чем идти ол-ин в закрытые решения.

Круто, что на OSS-сцене появляются новые игроки. Thinking Machines от бывшей CTO OpenAI выпустили Inkling — свою первую модель с открытыми весами. Они честно говорят, что это не самая мощная модель на рынке, и продают то, что вокруг: тюнинг через Tinker, API и инфраструктуру. Уверен, что вот таких кейсов станет больше (свою модель для этого, конечно, тренить не обязательно, можно просто позаимствовать у китайцев).

Ждём, когда из подполья вылезет Сутскевер. Уверен, что его модели будут OSS. Если нет — можете плюнуть мне на макушку при встрече 🤠

Короче, всё это в продолжение моего поста о карьерной ставке на годы вперёд 👉 тут. Там писал, почему local inference, serving и AI-инфраструктура — скиллы, которые я бы качал уже сейчас.

Viva la open source! 🐧

Рассылка

Письма из Багодельни

Письма с новыми статьями, инструментами и мыслями о том, куда катится AI-разработка. Только то, что проверил на себе.

Письма из Багодельни

Письма с новыми статьями, инструментами и мыслями о том, куда катится AI-разработка. Только то, что проверил на себе.

Отписаться можно в любой момент