Veri alma ve ayrıştırıcı motorları: güvenli biçimde başarısız olan sistemler kurmak.

Dosya tabanlı veri akışları, gerçek iş ortaklarıyla karşılaşana kadar basit görünür. Dosyalar geç gelir. Şemalar haber vermeden kayar. Bir tedarikçi yeni bir sütun göndermeye başlar, ya birini göndermeyi bırakır, ya da bir kodlamayı değiştirir. Bir transfer tamamlanır ama dosya sıfır bayttır. Yeniden deneme idempotent olmadığı için bir iş bir dosyayı iki kez işler.

Bileşik sorun şudur: çoğu naif uygulama bozuk veriyi istisnai bir durum olarak ele alır. Pratikte bozuk veri günlük bir olaydır. Bunun için tasarlanmamış sistemler sessizce başarısız olur ve işletme sorunu bir sistem uyarısından değil bir alt akış etkisinden — yanlış bir rapor, eksik bir kayıt, bir iş ortağı şikâyeti — öğrenir.

Bozuk veriyi karantinaya almadan yutan bir ayrıştırıcı motoru, alt akış operasyonlarını bozar. Finans raporları, operasyonel panolar ve mutabakat çıktılarının hepsi verinin eksiksiz ve geçerli olmasına bağlıdır. Bir ayrıştırıcı sessizce başarısız olduğunda, bozulma genellikle günler sonra — tam da yanlış anda — keşfedilir.

Yeniden deneme sorunu da aynı derecede ciddidir. İdempotentlik olmadan, başarısız bir işi yeniden çalıştırmak güvenli değildir. Güvenle yeniden deneyemeyen ekipler, her kısmi arızayı işi yeniden çalıştırmak yerine elle araştıran ekiplerdir.

Karmon ayrıştırıcı motorlarını, bir dosyayı okuyup veritabanına yazan tek bir işlev olarak değil, birbirinden ayrı aşamalardan oluşan hatlar olarak tasarlar. Her aşamanın — alma, doğrulama, dönüştürme, depolama, raporlama — net bir giriş sözleşmesi, net bir çıkış sözleşmesi ve kendi durum kaydı vardır. Arızayı sınırlanabilir ve ayıklanabilir kılan, bu ayrımdır.

Doğrulama kayıt başına çalışır. Bozuk kayıtlar, sessizce düşürülmek ve tüm partinin iptaline yol açmak yerine, insan tarafından okunabilir bir gerekçeyle karantinaya alınır. Geçerli kayıtlar işlenmeye devam eder. Karantinaya alınan kayıtlar görünür, sorgulanabilir ve kaynak sorun düzeltildiğinde yeniden işlenebilirdir. Bu yaklaşımın ardındaki tasarım ilkeleri, güvenli biçimde başarısız olan ayrıştırıcı motorları tasarlama yazısında derinlemesine ele alınmaktadır.

İlk teslimat genellikle sağlamlaştırılmış bir alma katmanıdır: güvenilir transfer, sağlama toplamı doğrulaması ve çalışma durumu kaydı. Bu tek başına, ekiplerin yıllardır birlikte yaşadığı bir sessiz arıza sınıfını ortadan kaldırır.

Doğrulama ve karantina bunu izler, ardından idempotentlik, ardından operasyonel panolar. Her artış devreye alınabilir. Yeni hat gerçek veride kendini kanıtlayana kadar mevcut işleme devam eder.

Operasyon ekipleri veri sorunlarını raporlardan keşfetmeyi bırakıp panolardan keşfetmeye başlar. Reddedilen kayıtların açıklamaları olur. Eksik dosyalar uyarı tetikler. Başarısız bir partiyi yeniden çalıştırmak, elle yapılan bir araştırma değil tek tıklık bir işlem olur.

Mühendislik ekibi, tedarikçi biçimleri değiştikçe genişletilebilen bir sistem kazanır — çünkü biçim sözleşmesi açıktır ve biçim değişiklikleri sessiz bozulma değil doğrulama hataları üretir.

Bu teslim deseni; işletmeniz tedarikçilerden veya iş ortaklarından gelen günlük ya da gün içi veri dosyalarına bağımlıysa ve şunlardan herhangi biri doğruysa geçerlidir: alt akışta keşfedilen bir veri kalitesi sorunu yaşadınız; başarısız bir işi elle temizleme olmadan güvenle yeniden çalıştıramıyorsunuz; dünkü içe aktarımda kaç kaydın reddedildiğini bilmiyorsunuz; ya da SFTP işleriniz zamanla büyümüş ve kimsenin dokunmak istemediği betikler.