Внутренние документы Amazon раскрыли несколько эпизодов бесконтрольного роста расходов на проекты с технологиями искусственного интеллекта. Наиболее заметный инцидент произошел в группе, которая занималась сопоставлением крупных массивов корпоративных данных с помощью модели Anthropic Claude Sonnet. Эта модель доступна через облачный сервис Amazon Bedrock. Бюджет проекта превысили на 860 процентов, а фактические затраты достигли 1,8 миллиона долларов США. Перерасход не замечали на протяжении пяти месяцев.
В основе перерасхода лежал механизм оплаты по факту потребления токенов — базовых единиц обработки текста моделью. Claude 3 Sonnet тарифицируется на уровне 0,003 доллара за тысячу входных токенов и 0,015 доллара за тысячу выходных токенов в регионе AWS Северная Вирджиния. Интенсивная обработка длинных документов и вызовы API для сверки записей, которые повторялись, генерировали сотни миллиардов токенов за короткое время. Система мониторинга затрат не содержала пороговых предупреждений для сервиса Bedrock, а стандартный цикл выставления счетов AWS не позволил команде быстро заметить резкий рост расходов. В итоге сумма, близкая к двум миллионам долларов, списалась со счета без автоматической блокировки.
Руководство Amazon отреагировало на инцидент требованием внедрить жесткие алгоритмы контроля токенов и автоматические лимиты расходов на все ИИ-проекты. Теперь каждая рабочая группа обязана настраивать лимиты ежедневного и ежемесячного потребления токенов в панели управления бюджетов AWS. При приближении к заданному порогу система рассылает оповещения, а после его достижения вызовы API Bedrock временно прекращаются до ручного пересмотра лимита. Кроме того, внутренний аудит выявил еще несколько аналогичных случаев меньшего масштаба в других подразделениях, что ускорило развертывание централизованных политик квотирования.
Схожие механизмы уже давно практикуют конкуренты. В Google Cloud Vertex AI на уровне проекта можно задать лимит запросов в минуту и включить уведомления о достижении порога расходов. Microsoft Azure OpenAI Studio предлагает задание жестких квот на число токенов в минуту и интеграцию c механизмом бюджетов. До инцидента облачная платформа Amazon Bedrock предоставляла базовые средства мониторинга через AWS Cost Explorer, но не делала обязательной настройку предупреждений о перерасходе на модели. Теперь инженеры Amazon обладают инструментарием, который не уступает рыночным аналогам.
Claude Sonnet от Anthropic входит в семейство моделей, на которое Amazon делает стратегическую ставку после инвестиций в стартап. Проект, который фигурировал в документах, вероятно, использовал развертывание модели в контуре Bedrock для кастомизированного сопоставления данных без ограничителей на количество токенов, что привело к неконтролируемой трате ресурсов. Инцидент демонстрирует: даже компании с высокой экспертизой в облачных технологиях могут столкнуться с рисками неуправляемого потребления генеративного ИИ. Это подстегивает отрасль к созданию более прозрачных инструментов управления затратами.
