iOS geliştirici Nurullah Yılmaz, Türkinform'a özel yaptığı açıklamada Microsoft 365'te yaşanan ve 20 saati aşan kesintiyi yazılımcı gözüyle anlattı. Yılmaz'a göre kesintiyi uzatan, onarılıp geri getirilen sunucuların birikmiş bağlantı yükü altında yeniden çökmesi oldu.
Outlook ve Teams başta olmak üzere Copilot, SharePoint ve Defender'ı da etkileyen sorunun 13 Kasım cuma sabahına sarktığını söyleyen Yılmaz, "Büyütmeye gerek yok, yaşanan zaten yeterince ağır. Mahkemelerden okullara, havayollarından devlet dairelerine kadar dünyanın pek çok yerinde iş durdu ya da yavaşladı" dedi.
YILMAZ ÇÖKÜŞÜ KAPIYI KIRAN KALABALIĞA BENZETTİ
Yılmaz, Microsoft'un kesin raporu yayımlanmadan kendi okumasını paylaştığını vurgulayarak tablonun dağıtık sistemlerde "metastable failure" adı verilen duruma benzediğini söyledi. Dağıtık sistemlerin en çok korkulan senaryolarından biri olan bu durumda, çöken yapı sorunu başlatan etken ortadan kalksa bile kendini ayağa kalkamaz halde tutuyor.
Yılmaz'ın tarifine göre zincir, ağ ayarlarındaki bir güncellemenin birkaç sunucuyu sarsmasıyla başlıyor. Düşen makinelerin işi ayakta kalanlara aktarılıyor ve Outlook'tan, telefon uygulamalarından ve Graph entegrasyonlarından kopan yüz milyonlarca bağlantı hep birlikte geri gelmeye çalışıyor. Kurulan her bağlantı için işlemciyi yoran bir TLS (Transport Layer Security) el sıkışması gerekiyor.
Yılmaz, "Güvenli bağlantı süreci tam o noktada boğuluyor. Onarılan sunucu açıldığı anda biriken bağlantı dalgası üstüne çöküyor ve makine yine düşüyor. Literatürde adı 'thundering herd'. Microsoft'un bilerek trafik kesmesi de döngüyü kırmanın bilinen yolu, buna load shedding diyoruz" dedi. Mühendislerin gece boyunca verdiği uğraşı anlatan Yılmaz, "Ekip sunucuyu ayağa kaldırıyor, kapıda bekleyen kalabalık içeri dalıyor, sunucu tekrar yere seriliyor. O ekipte olmak istemezdim ama yaptıklarını çok iyi anlıyorum" dedi.
MICROSOFT'UN TEŞHİSİ GECE BOYUNCA DEĞİŞTİ
Microsoft'un açıklamalarını art arda okurken bir polisiye izler gibi hissettiğini söyleyen Yılmaz, şirketin ilk teşhisinin bölgelerdeki yüksek yük olduğunu hatırlattı. Microsoft daha sonra trafikte artış olmadığını, bir grup sunucunun aniden hizmet dışı kaldığını açıkladı. Sağlık kontrolünü geçemeyen makineler servisten alındı ve şirket kontrolü yürüten parçayı birkaç sunucuda kapatmayı denedi.
Yılmaz'ın en öğretici bulduğu an bundan sonra geldi. Microsoft önce sorunun başladığı saatle çakışan yeni bir değişiklik görmediğini söyledi, gece ise ağ ayarlarında yapılan ve o saatle çakışan güncellemeyi geri çekmeye başladığını duyurdu. Yılmaz, "Kök neden henüz doğrulanmış değil ama elimizdeki en güçlü ipucu o güncelleme" dedi.
Şirketin sonraki açıklamasında sorun, sunucularda şifreli bağlantıları kuran sürecin kaldıramayacağı kadar yük alması olarak tarif edildi. Yılmaz, "Sağlık kontrolleri haksız çıkmadı, o makineler gerçekten iş göremiyordu" dedi. Onarılan sunucular trafik gelince tekrar cevap veremez olunca Microsoft bazı bölgelerde altyapıya giren trafik türlerine sınır getirdi, bir kısım sunucuyu da eski yazılım ayarıyla baştan kurdu.
TEAMS SORUNU İLE EXCHANGE ÇÖKÜŞÜ AYRI YAŞANDI
Yılmaz, 12 Kasım akşamındaki iki olayın birbirine karıştırılmaması gerektiğini söyledi. Amerika kıtasındaki Teams kullanıcılarını Türkiye saatiyle 17.45 ile 18.53 arasında etkileyen ilk sorunu Microsoft'un ön değerlendirmesi "kaynak çekişmesine" (resource contention) bağladı. Sorun aynı akşam giderildi.
Uzun kesinti ise Exchange Online ve ona bağlı hizmetlerde yaşandı. Downdetector verilerinde ABD'deki Outlook şikayeti 130 bine dayandı ve sorun bir saat içinde 74 ülke ve bölgeye ulaştı. Şirket ilk açıklamada sorunu Amerika kıtasıyla sınırlı gösterdi, ardından tüm bölgelerin etkilenebileceğini kabul etti. Yılmaz'ın aktardığına göre 13 Kasım sabahı Avrupa'da da sunucular toparlanamıyordu.
YAZILIMCILAR YENİDEN DENEME AYARINI GÖZDEN GEÇİRMELİ
Yılmaz'a göre kesintiye yalnızca açılmayan Outlook üzerinden bakılmamalı. Microsoft Graph'a giden posta, ajanda ve rehber sorguları zaman aşımına düştüğü için gelen kutusunu tarayan betikler durdu. Defender for Office 365'teki Safe Links adresleri doğrulayamayınca kullanıcılar sağlam linklerde hata gördü, Power BI ve Fabric'te hassasiyet etiketli raporlar açılmadı. Yılmaz, gecikmiş e-postaların kaybolmadığını, Microsoft'un teslim süresini uzattığını da hatırlattı.
Yazılımcılara önce yeniden deneme kurgusunu elden geçirmelerini öneren Yılmaz, "Kapıdaki kalabalığın bir kısmını bizim yazdığımız, sabit aralıklarla ve durmadan tekrar eden istekler oluşturuyor. Üstel bekleme (exponential backoff) ve rastgele sapma (jitter) şart" dedi. Yılmaz, art arda hata veren servise bir süre hiç istek göndermemeyi, servisin bildirdiği bekleme süresine uymayı, e-posta gönderimini bir kuyruğa bağlamayı ve tek bir özellik çöktüğünde uygulamanın tamamının çökmemesini sağlamayı tavsiye etti.
Sistem yöneticilerine takibi haberlerden değil, Exchange Online için EX1550543 ve Microsoft 365 için MO1550821 olay kodlarından yapmalarını önerdi. "Office'i yeniden kurmak, Outlook profilini silmek ya da şifre sıfırlamak kesintide hiçbir işe yaramıyor, toparlanmayı yalnızca daha gürültülü yapıyor" diyen Yılmaz, servis sağlığı ekranının yalnızca son 30 günü gösterdiğini, tazminat talep edecek şirketlerin olay raporunu indirip saklaması gerektiğini söyledi.
Microsoft'un 13 Kasım öğleden sonra toparlanmanın başladığını açıkladığını hatırlatan Yılmaz, şirketlere Microsoft 365'e bağlı olmayan yedek bir haberleşme yolu belirlemelerini önerdi. Yılmaz, "Outlook ve Teams birlikte düşünce 'e-postayla duyuralım' demek komik kaçıyor. Alarm e-postalarını da başka bir adrese yönlendirin, yoksa alarm en çok gerektiği anda size ulaşmaz. Çıkacak ders bulutun kötü olduğu değil. Başkasının altyapısına kurduğunuz her şey, o altyapının en kötü gününü de kaldıracak şekilde tasarlanmalı" dedi.
