Ущерб может достигать $15 млрд в час: как сбой Cloudflare парализовал работу сайтов по всему миру

Сбой ударил по мировой экономике

По разным подсчетам инфраструктура Cloudflare обеспечивает работу около 19% всех активных сайтов в мире, что делает ее одним из ключевых элементов глобального интернета. Поэтому сбой может иметь значительные финансовые последствия.

В зависимости от сервисов Cloudflare особенно высока среди крупных компаний: примерно 35% корпораций из списка Fortune 500 пользуются ее услугами, а более 32% из 10 тыс. самых посещаемых сайтов в мире работают на ее инфраструктуре.

Основатель компании SupportMy.website, предоставляющей услуги поддержки и обслуживания вебсайтов, Джейсон Лонг подчеркивает, что Cloudflare – это критически важная составляющая для бизнесов любого масштаба и из разных стран. По его словам, вчерашний сбой почувствовали все: “от крупных банков до малых семейных компаний, оказавшихся перед трудностями в работе с клиентами”.

Лонг отмечает, что многие компании могут даже не задумываться о том, насколько зависимы от Cloudflare в повседневной деятельности, но какие-либо неполадки сразу отражаются и на репутации, и на финансовых показателях.

Оценка ущерба

Оценка возможных финансовых потерь основывается на средних показателях стоимости простоя в разных сегментах бизнеса: от примерно 8 тыс. долларов в час для малого и среднего бизнеса до 300 тыс. долларов в час для крупных компаний.

Итоговый диапазон убытков в 5–15 млрд долларов в час учитывает ряд факторов. Среди них – частичное резервирование сервисов, разница во часовых поясах и нагрузке в часы пиковой активности, а также разный спектр услуг, предоставляемых Cloudflare (в том числе CDN или системы безопасности).

Кто фиксировал неполадки

По сообщениям пользователей и данным профильных медиа, перебои охватили широкий спектр интернет-ресурсов. Проблемы наблюдались на популярных платформах, среди которых X (бывший Twitter), ряд новостных и развлекательных сайтов, а также сервисы, работающие через API.

В список пострадавших вошли Pokerogue, ChatGPT, X, Spotify, TikTok, WhatsApp, Pinterest и другие ресурсы, использующие инфраструктуру Cloudflare.

На DownDetector количество жалоб начало резко расти буквально через несколько минут после официального подтверждения инцидента Cloudflare.

Мониторинговые инструменты Cloudflare фиксировали аномалии трафика и региональные перебои, поэтому доступность ресурсов отличалась в зависимости от региона и конкретной точки присутствия (PoP), которая обрабатывала запросы пользователей.

Cloudflare объяснила причину сбоя

Проблема не была связана с кибератакой или с какой-либо вредной активностью. В компании объяснили, что сбой повлек за собой изменение разрешений в одной из систем баз данных. Поэтому база данных начала выгружать лишние записи в “файл функций”, который использует система управления ботами. Файл вырос в два раза, после чего его обновленная версия автоматически распространилась на все машины в сети.

Программное обеспечение, управляющее маршрутизацией трафика, считывает этот файл для обновления данных об угрозах. Однако из-за ограничения на максимальный размер файла увеличенная версия вызвала сбой в работе софта.

Сначала в Cloudflare ошибочно предположили, что падение сродни массированной DDoS-атаке, но впоследствии определили истинную причину. Распространение слишком большого файла было остановлено и возвращено предыдущую версию.

В компании извинились за последствия инцидента и подчеркнули, что любой сбой в работе такой критически важной инфраструктуры неприемлем. Они подчеркнули, что детально проанализировали ошибки и уже работают над изменениями, которые должны сделать невозможным повторение подобной ситуации.