CI Flaky Test Yönetimi: Quarantine, Sahiplik ve Güven Skoru Nasıl Kurulur?

Problemi doğru sınırlandırın

Arada geçen arada kalan testleri sürekli rerun ederek gizlemek yerine failure kanıtı, quarantine süresi ve geri alma kriteriyle sistematik yönetin.

Bu rehberin odak noktası CI sonucuna olan güveni korurken rastlantısal test hatalarını görünür biçimde azaltmak. Örnek senaryo gerçek bir müşteri vakası değil, karar mantığını görünür kılmak için hazırlanmış varsayımsal bir çalışma örneğidir: E2E suite haftada birkaç kez aynı testte düşüyor ve ekip pipeline'ı yeşile çevirmek için otomatik üç retry ekliyor.

Üretim güvenilirliği tek bir araç veya dashboard satın alarak oluşmaz. Deploy, health, yedek, bağımlılık ve performans sinyallerinin hangi kullanıcı etkisini temsil ettiği açık olmadığında ekip çok veri toplar fakat geç karar verir.

Karar çerçevesi

Bu durumda temel karar şudur: Flaky test'i etiketleyin, owner ve son tarih verin; ana merge gate'ten geçici ayırırken ayrı job'da çalıştırmaya devam edin ve fix doğrulanınca geri alın. Bu kararın değeri, ekip tarafından aynı şekilde yorumlanabilmesi ve testle kanıtlanabilmesidir. Belirsiz ifadeler yerine gözlenebilir davranış, sorumlu sistem ve hata halinde beklenen sonuç yazılmalıdır. Uygulama ayrıntısı: Test sonucu kaydında commit, environment, seed ve hata sınıfını saklayın; özellikle zamanlama ve veri bağımlı testlerde yeniden üretim koşullarını görünür hale getirin. Test sonucu kaydında commit, environment, seed ve hata sınıfını saklayın; özellikle zamanlama ve veri bağımlı testlerde yeniden üretim koşullarını görünür hale getirin.

İyi operasyon tasarımı; ölçülebilir eşikler, prova edilmiş geri dönüşler ve sahipliği belirlenmiş aksiyonlardan oluşur. Kontrolün gerçekten çalıştığı düzenli olarak test edilmelidir.

Dört uygulama ve kabul kontrolü

Birinci kontrol “Aynı commit'i tekrar çalıştırıp farklı sonuç üretin” olmalıdır. Bunun için önce mevcut durumdan örnek kayıt veya trafik seçin, beklenen sonucu önceden yazın ve değişiklikten sonra aynı örnekleri yeniden çalıştırın. Kontrolün sahibi ile kanıtın saklanacağı yer belli değilse, test tamamlandı denmemelidir.

İkinci kontrol “Flake oranını test bazında ölçün” maddesidir. Bu kontrol yalnızca başarılı senaryoda değil; boş veri, gecikme, tekrar, yetkisiz kullanıcı veya bağlantı sorunu gibi sınır koşullarında da denenmelidir. Böylece sistemin yalnızca demo sırasında değil gerçek operasyon baskısı altında nasıl davrandığı anlaşılır.

Üçüncü kontrol “Quarantine expiry alarmı kurun” olarak tanımlanmıştır. Uygulama ekibi teknik logları izlerken operasyon ekibi aynı olayın kullanıcı veya iş sonucu üzerindeki etkisini görebilmelidir. İki görünüm arasında ilişki kurulması, sorunun kaynağını daha hızlı ayırmaya yardımcı olur.

Yayın öncesinde CI sonucuna olan güveni korurken rastlantısal test hatalarını görünür biçimde azaltmak bağlamında fix sonrası ardışık stabil koşu şartı koyun için hazırlığı somutlaştırmalısınız. Bu kontrol hangi test verisiyle yapılacak, beklenen davranış nasıl ölçülecek, arızalı sonucun kullanıcıya görüntüsü ne olacak, ve bulunursa veri nasıl düzeltilecek—tüm bunlar yazılı olmalıdır. Sorumlu kişi, kanıt deposu ve geri alma adımları belirlenmek üzere bir form doldurmalısınız.

Riskleri yayın öncesinde görünür kılın

Yayından sonra ilk 24 saat kritiktir. Normal durumda beklediğiniz sinyalleri (işlem sayısı, hata oranı, yanıt süresi) önceden yazın; hangi değerler alarm üreteceği ve kim baktığını belirleyin. retry'nin pipeline maliyetini gizlemesi gerçekleşirse geri alma kararını kimin vereceği ve kaç dakika içinde uygulanacağı belli olmalıdır. Ardından fix sonrası ardışık stabil koşu şartı koyun yeniden çalıştırarak değişikliğin hala güvenli olduğunu kanıtlayın. Kanıt planı: Son 30 veya 50 koşuda fail-pass dağılımını raporlayın; yalnız tek yeşil koşuyla quarantine kaldırmak yerine belirlenen stabilite penceresini geçmesini bekleyin.

Kabul kriterini operasyonla bağlayın

Dördüncü kontrol “Fix sonrası ardışık stabil koşu şartı koyun” maddesidir. Bu son adım çoğu projede atlanır; oysa yayın öncesi kabul listesinin bir parçası olduğunda değişikliğin ne zaman gerçekten tamamlandığı netleşir. Kontrol sonuçları tarih, sürüm ve sorumlu ile kaydedilmelidir. Son 30 veya 50 koşuda fail-pass dağılımını raporlayın; yalnız tek yeşil koşuyla quarantine kaldırmak yerine belirlenen stabilite penceresini geçmesini bekleyin.

Birincil kaynaklarla teknik çerçeveyi doğrulayın

Risk analizi üç görünür başlıkta tutulabilir. Birincisi “Quarantine listesinin kalıcı çöplüğe dönüşmesi”. Bu risk için erken uyarı sinyali, etkilenebilecek kayıt veya kullanıcı kapsamı ve geri alma adımı yazılmalıdır. İkincisi “Gerçek regresyonun flake sanılması”; bunu yalnızca log hatası olarak değil veri veya müşteri etkisi olarak da ölçün. Üçüncüsü “Retry'nin pipeline maliyetini gizlemesi”; bu risk gerçekleşmese bile test senaryosunda kasıtlı olarak tetiklenerek kontrolün işe yaradığı kanıtlanabilir.

• GitHub Docs — Actions
• NIST SP 800-218 — Secure Software Development Framework

Yayın, gözlem ve geri dönüş planı

Kabul tablosu proje yönetim aracı yerine geçmez; ekiplerin aynı 'bitti' tanımını kullanmasını sağlar. Her kontrol için örnek veri, beklenen sonuç, gözlem noktası ve sorumlu belirlemek; sonradan yaşanan tartışmayı yayın öncesi karara dönüştürür. Eğer bir kontrol otomatikleştirilebiliyorsa regresyon testine eklenmesi, manuel kalıyorsa tekrar çalıştırılabilecek kısa bir runbook'a bağlanması yararlıdır. Kapsam sınırı: Flaky test'i tamamen silmek kaliteyi artırmaz; test kritik davranışı kapsıyorsa önce determinism sorunu çözülmeli, gereksiz testse aynı davranışı daha güvenilir seviyede kapsayan alternatif eklenmelidir.

Teknik çerçeveyi kontrol ederken bu rehberde GitHub Docs — Actions, NIST SP 800-218 — Secure Software Development Framework birincil dokümantasyonları referans alınmıştır. Bu kaynaklar kullanılan kavramların ve platform davranışlarının resmi açıklamalarını sağlar; ancak sizin veri modeliniz, sözleşmeleriniz, trafik profiliniz ve güvenlik gereksiniminiz için nihai tasarım kararı değildir. Uygulama öncesinde kullanılan ürün/sürüm dokümantasyonu yeniden kontrol edilmelidir.

Yayın planında üç kapı kullanın: önce yapısal doğrulama, sonra sınırlı gerçek kullanım, son olarak genişletme. İlk kapıda şema, yetki, hata ve veri bütünlüğü test edilir. İkinci kapıda gerçek trafik veya temsil edici kullanıcı grubu üzerinden performans ve davranış izlenir. Üçüncü kapıya yalnızca belirlenen hata bütçesi ve iş metriği sınırları içinde kalındığında geçilir. Bu sıra, değişikliği yavaşlatmak için değil geri bildirim maliyetini düşürmek için vardır. Flaky test'i tamamen silmek kaliteyi artırmaz; test kritik davranışı kapsıyorsa önce determinism sorunu çözülmeli, gereksiz testse aynı davranışı daha güvenilir seviyede kapsayan alternatif eklenmelidir.

Sık sorulan sorular

CI Flaky Test Yönetimi için ilk adım nedir?

Önce problemi teknik çözüm adıyla değil iş etkisiyle sınırlayın. Bu rehberdeki senaryoda başlangıç noktası CI sonucuna olan güveni korurken rastlantısal test hatalarını görünür biçimde azaltmak. Ardından mevcut davranışı ölçün ve ilk kabul kriterini aynı commit'i tekrar çalıştırıp farklı sonuç üretin şeklinde somutlaştırın.

Bu çalışma tek seferde canlıya alınmalı mı?

Genellikle hayır. En güvenli yaklaşım, değişikliği küçük bir kapsamda doğrulayıp gözlem sinyallerini izlemektir. Özellikle “Quarantine listesinin kalıcı çöplüğe dönüşmesi” riski gerçekleştiğinde geri dönüş veya telafi adımının önceden tanımlı olması gerekir.

Güvenlik, Performans ve DevOps projesinde başarı nasıl kabul edilir?

Başarı yalnızca ekranın veya endpoint'in çalışması değildir. Flake oranını test bazında ölçün ve quarantine expiry alarmı kurun birlikte doğrulanmalı; hata, tekrar ve yetki gibi sınır durumları için de ölçülebilir kanıt üretilmelidir.

Bu içerikteki senaryo ve kabul örnekleri açıklama amacıyla hazırlanmış varsayımsal örneklerdir; müşteri sonucu, fiyat, sertifikasyon veya performans garantisi değildir. Platform davranışları uygulama tarihinde güncel birincil dokümantasyondan yeniden doğrulanmalıdır.