По мере завоевание всё новых позиций программным обеспечением, основанном на т.н. генеративном искусственном интеллекте – самым известным является ChatGPT – всё больше копий ломается по поводу возможной угрозы для цивилизации со стороны ИИ. Однако почти никто не заметил, что ещё большая угроза нависла над самим искусственным интеллектом, причём угроза не со стороны регулирующих государственных органов, а со стороны мира чистогана.
5 мая в калифорнийском издании «San Francisco Chronicle» вышла большая статья под названием «У ChatGPT есть проблема, о которой никто не хочет говорить» («ChatGPT has a problem no one wants to talk about»). По мнению издания, огромные затраты на эксплуатацию сегодняшних больших языковых моделей, лежащих в основе таких инструментов, как ChatGPT и Bard, ограничивают их качество и угрожают задушить глобальный бум ИИ, который они спровоцировали.
Затраты на такие модели генеративного ИИ, как ChatGPT складываются из двух глобальных составляющих: 1) процесс обучения и 2) процесс эксплуатации. Обе составляющие требуют огромных вычислительных мощностей и невероятно дороги, что, по сути, позволяет участвовать в ИИ-гонке только сверхбогатым компаниям вроде Microsoft или Google. Но даже для таких гигантов программные продукты на основе генеративного искусственного интеллекта становятся всё дороже и вопрос времени, когда гиганты «прикрутят фитилёк».
Расходы на языковые модели ИИ начинаются с их разработки и обучения, что требует гигантских объемов данных и программного обеспечения для выявления языковых закономерностей. Компании, занимающиеся искусственным интеллектом, обычно нанимают ведущих аналитиков, чья зарплата может соперничать с зарплатой лучших профессиональных спортсменов США. Это создает первоначальный барьер для любой компании, надеющейся построить свою собственную модель ИИ, хотя несколько хорошо финансируемых стартапов добились успеха, в том числе Anthropic AI, который основали несколько бывших сотрудников OpenAI при финансовой поддержке Google.
Технологические гиганты, делающие ставку на ИИ, редко обсуждают стоимость технологии. OpenAI (создатель ChatGPT), Microsoft и Google отказались от комментариев по поводу затрат. Но эксперты говорят, что это самое вопиющее препятствие на пути видения Big Tech о том, что генеративный ИИ проникнет во все отрасли, сократит количество рабочих мест и повысит эффективность работы.
Интенсивные вычисления требуются для ИИ, и вот почему OpenAI закрывает свою новую мощную языковую модель GPT-4 от бесплатной версии ChatGPT, которая все еще использует более слабую модель GPT-3.5. При этом количество запросов для GPT-3.5 теперь сильно ограничено. Но даже те, кто платит 20 долларов в месяц за GPT-4, могут отправлять не более 25 сообщений каждые три часа, потому что это очень дорого для владельцев чат-бота.
Когда в марте 2023 года Google выпустила своего чат-бота Bard, было решено не использовать самую большую языковую модель. Дилан Патель, главный аналитик компании SemiAnalysis, занимающейся исследованиями в области полупроводников, подсчитал, что один чат с ChatGPT может стоить в 1000 раз дороже, чем простой поиск в Google.
Не случайно компании, разрабатывающие ведущие языковые модели ИИ, либо входят в число крупнейших поставщиков облачных вычислений, как Google и Microsoft, либо имеют с ними тесные партнерские отношения, как OpenAI с Microsoft. Компании, которые покупают инструменты искусственного интеллекта этих фирм, не понимают, что они привязаны к сильно субсидируемой услуге, которая стоит намного больше, чем они платят в настоящее время.
По сути, бум искусственного интеллекта позволил колоссально обогатиться только производителям графических плат, таким как NVIDIA и производителям чипов для них, как тайваньская компания TSMC. Все остальные лишь подсчитывают убытки от поддержки чат-ботов с генеративным ИИ. При этом, несмотря на огромную стоимость графических карт для обучения искусственного интеллекта (стоимость одной карты NVIDIA H100 достигает нескольких десятков тысяч долларов), спрос на них растёт и на самые мощные карты образовался дефицит. «Графические процессоры на данный момент достать значительно труднее, чем наркотики», – заявил в своём эпатажном стиле 23 мая на саммите Wall Street Journal Илон Маск, который недавно приобрел около 10 тыс. графических процессоров для своего собственного стартапа в области искусственного интеллекта. Маск конечно имел в виду высокопроизводительные карты вроде H100, а не простые карты для геймерских ПК.
Генеральный директор OpenAI Сэм Альтман косвенно признал наличие проблемы на слушаниях в Сенате в мае, когда сенатор Джон Оссофф предупредил, что, если OpenAI попытается вызвать зависимость от ChatGPT, это нанесет вред детям и Сенат примет меры. Альтман по этому поводу сказал, что Оссоффу не о чем беспокоиться: «На самом деле, у нас так мало графических процессоров, что чем меньше людей используют наши продукты, тем лучше».
Первоначально OpenAI рассматривала свой продукт ChatGPT, как открытый и общедоступный. В декабре 2022 года, вскоре после запуска GPT-3.5, Альтман оценил стоимость ChatGPT «вероятно, в несколько центов за чат». Это может показаться не такой уж большой суммой, пока мы не умножим эти несколько центов на более чем 10 миллионов пользователей в день, как подсчитали аналитики. В феврале SemiAnalysis подсчитала, что ChatGPT обходится OpenAI примерно в 700 000 долларов в день только за счет вычислительных затрат, исходя из обработки, необходимой для запуска GPT-3.5 модели по умолчанию в то время. Если умножить эти вычислительные затраты на 100 миллионов человек в день, которые используют поисковую систему Microsoft Bing, или на более чем один миллиард, которые, как сообщается, используют Google, то можно понять, почему технологические гиганты уже не стремятся делать улучшенные модели ИИ доступными для широкой общественности.
В своем февральском объявлении о Bard компания Google заявила, что первоначально будет работать на «облегченной» версии языковой модели компании LaMDA, поскольку она требует «значительно меньшей вычислительной мощности, что позволяет масштабироваться для большего числа пользователей». Другими словами, даже такая сверхбогатая компания, как Google, не была готова платить за использование своей самой мощной технологии искусственного интеллекта в бесплатном чат-боте. Сокращение расходов сразу же сказалось: Bard показал не лучшие результаты во время демонстрационного запуска, что привело к потере в стоимости акций Google на 100 миллиардов долларов. Это же побудило и Microsoft сократить как индивидуальность своего Bing, так и количество вопросов, которые пользователи могли задать ему при общении.
Компании пытаются прорваться через это «узкое бутылочное горлышко». Каждый из крупных игроков борется за то, чтобы сделать языковые модели своего ИИ дешевле. Выполнение запроса на новой облегченной модели OpenAI GPT-3.5 Turbo стоит в десять раз меньше, чем на топовой модели GPT-4. Google создает свои собственные чипы искусственного интеллекта, которые, по ее утверждению, более эффективны, чем у NVIDIA (что пока сомнительно). Многие стартапы строят модели с открытым исходным кодом, такие как LLaMA от Meta, поэтому им не нужно платить OpenAI или Google за использование – даже если эти модели пока не работают так же хорошо и могут не иметь защиты для предотвращения злоупотреблений.
Для потребителей это может означать, что дни неограниченного доступа к мощным универсальным моделям искусственного интеллекта сочтены. И это вполне логично, учитывая, какие колоссальные вычислительные мощности затрачиваются сегодня на то, чтобы миллионы людей с не самым высоким интеллектом упражнялись в создании глупых картинок. Microsoft уже экспериментирует со встраиванием рекламы в свои результаты Bing на базе искусственного интеллекта. На слушаниях в Сенате Альтман из OpenAI не исключил того же, хотя и сказал, что предпочитает модель платной подписки.
Кроме того, важным фактором является вред для окружающей среды. В недавнем отчете об искусственном интеллекте администрация Байдена назвала вычислительные затраты на генеративный ИИ национальной проблемой. Белый дом заявил, что технология, как ожидается, «резко увеличит вычислительные потребности и связанное с этим воздействие на окружающую среду». Графические карты тратят очень много электроэнергии. Как подсчитал аналитик данных Каспер Гроуз Альбин Людвигсен, основываясь на оценках использования и вычислительных потребностей ChatGPT, в январе 2023 года на потребности ChatGPT было задействовано столько же электроэнергии, сколько потребовалось бы для 175 тыс. человек, что эквивалентно затратам города среднего размера.
Таким образом тем гражданам, которые боятся, что их рабочие места будут сокращаться из-за внедрения искусственного интеллекта, похоже, можно выдохнуть. Если такие процессы и начнутся масштабно, то явно это случится ещё не скоро. Во всяком случае не ранее, чем создатели крупных систем генеративного интеллекта найдут возможность не только уменьшить расходы, но и начать получать прибыль.
