El Yazısı Tanıma: Hibrit Derin Öğrenme ile Yazar Tanımlama ve Doğrulama | Projeler | Haluk Ertekin

Genel Bakış

Bu proje, IAM Handwriting Dataset görüntülerini aynı anda iki hedef için işler: yazılan kelime/cümleleri çözmek ve bunları kimin yazdığını tanımak. CNN, CRNN, SVM, Siamese Networks ve XGBoost konfigürasyonları aynı deneysel boru hattında çalışır; böylece biyometrik doğrulama, adli analiz ve akıllı doküman iş akışları için yeniden üretilebilir bir plan çıkar.

Proje Motivasyonu

Klasik el yazısı sistemleri yalnızca ne yazıldığını öğrenir. Bu boru hattı aynı zamanda yazı baskısı, aralık, eğim ve ritim gibi ipuçlarını yakalayarak kim yazdı sorusunu da modeller. Tanıma ve doğrulama modelleri aynı veri yolunu paylaştığından, az örnek olsa bile sistem yazarı atayabilir.

Veri Seti ve Ön İşleme

En çok örneğe sahip 49 IAM yazar seçildi; 4.207 tek kanallı 113×113 görüntü elde edildi.
Kenar boşlukları kırpma, gri seviye normalizasyonu ve zenginleştirme (döndürme, ters çevirme, gürültü) uygulandı.
Yazar etiketleri one-hot kodlandı; dengeli kalması için katmanlı train/validation/test bölmeleri kullanıldı.

Orijinal IAM kelime örneği — **Figure 1.** Temizleme boru hattı öncesi ham IAM örneği.

Düzeltilmiş IAM kelime örneği — **Figure 2.** CNN/CRNN yığınına giren yamalanmış, eğikliği giderilmiş ve normalize edilmiş kırpım.

Doğrulama probleminin zorluğu el yazısının ayırt ediciliğine göre değişiyor. Bu yüzden insan denetimi için iki niteliksel grup oluşturdum:

Belirgin el yazısı örnekleri — **Figure 3.** Yüksek derecede karakteristik yazarları içeren insan denetimli set.

Daha az karakteristik el yazısı örnekleri — **Figure 4.** Belirsiz veya düşük sinyalli el yazılarını temsil eden örnek grup.

Model Mimarileri

CNN

Mekansal stroke özelliklerini çıkarır; taban sınıflandırıcı olarak ~%77 yazar doğruluğu sağlar.

CRNN

CNN ve BiLSTM katmanlarını istifler; şekil, ritim ve sırayı öğrenir. CTC kaybı hızlı transkripsiyonun yanında ~%88 yazar doğruluğu sunar.

CNN + SVM

CNN gömülerini SVM ayrım sınırına besler; ~%87 doğruluk, derin özellikleri küçük veri kümeleri için klasik ML ile harmanlar.

CRNN + SVM

Zamansal CRNN özelliklerini SVM sınıflandırıcısına verir; %89,9 doğruluk ve yazarlar arası değişime karşı daha iyi sağlamlık üretir.

CRNN + XGBoost

CRNN öznitelik vektörlerinde gradient-boosted ağaçlar çalıştırır, karmaşık etkileşimleri yakalar ve %90,32 ile en iyi doğruluğu elde eder.

Siamese Network

Ağırlık paylaşan CNN ikizlerini kontrastif kayıpla kullanır; iki örneğin aynı yazardan gelip gelmediğine karar verir. ~%85 doğrulama doğruluğu, ek bir güvenlik katmanı sağlar.

Çok Görevli Öğrenme

Paylaşılan konvolüsyonel ve tekrarlayan katmanlar her iki görevi aynı anda öğrenir:

CTC tabanlı el yazısı tanıma.
Stil odaklı yazar sınıflandırma.

Bu paylaşımlı özellik havuzu daha zengin temsiller, daha verimli eğitim ve gerçek adli boru hatlarına benzeyen akışlar üretir.

Optimizasyon ve Eğitim Kararlılığı

CRNN varyantları, yakınsamaya kadar aşamalı öğrenme oranı pencereleriyle çalıştırıldı. Gradyan kırpma ve CTC stabilizasyonu sayesinde kayıp eğrileri düzgün kaldı:

İlk üç deney için eğitim geçmişi — **Figure 5.** CNN, CRNN ve CRNN+SVM deneylerinde düzgün yakınsamayı gösteren eğitim geçmişi.

Son deneyler için eğitim geçmişi — **Figure 6.** CRNN+XGBoost ve Siamese doğrulama koşularının eğitim geçmişi.

Performans Özeti

Model	Doğruluk	Notlar
CNN	77.70%	Güçlü mekansal öğrenici, sınırlı zamansal modelleme
CRNN	88.69%	Üstün dizi modelleme
CNN + SVM	87.46%	Derin özellikler + klasik sınır
CRNN + SVM	89.96%	Zamansal özellikler ve SVM sinerjisi
CRNN + XGBoost	90.32%	En iyi genel performans
Siamese (doğrulama)	85.35%	İkili puanlama, yazar doğrulama

Her deney; karışıklık matrisleri, yazar başına metrikler ve olasılık dağılım grafikleri ile gelir.

CNN için yazar bazlı doğruluk — **Figure 7.** CNN temel modeli için yazar bazlı doğruluk dağılımı.

CRNN için yazar bazlı doğruluk — **Figure 8.** CRNN modeli için yazar bazlı doğruluk dağılımı.

Mimariler arası genel karşılaştırma — **Figure 9.** Üretim için CRNN + XGBoost yığınına karar verirken referans alınan yan yana özet.

Güçlü Yanlar

Tek bir boru hattında çoklu mimariyi kapsamlı şekilde kıyaslar.
Dengeli IAM alt kümesiyle adil değerlendirme.
CRNN + XGBoost ve CRNN + SVM’den güçlü hibrit performans.
Siamese doğrulama katmanı biyometrik dağıtımlara zemin hazırlar.
Adli paydaşlara yönelik görselleştirmeler ve raporlama.

Temel Katkılar

Altı modeli (CNN, CRNN, hibritler, Siamese) tek altyapıda, tekdüzen loglama ile eğittim ve kıyasladım.
CRNN özelliklerini XGBoost’a besleyen yazar-ID yaklaşımını tanıttım.
Transkripsiyon ve yazar kimliğinin aynı ağı paylaştığı çift görevli öğrenmeyi gösterdim.
Yeniden üretilebilirlik için dengeli IAM alt kümesi boru hattını yayımladım.

Uygulamalar

Adli doküman incelemeleri ve imza/çek doğrulama.
Biyometrik kimlik doğrulama sistemleri.
Arşiv otomasyonu ve tarihî el yazısı analitiği.
Bankacılık veya sözleşme kontrolü için akıllı el yazısı analizi.

Sonuç

CRNN + XGBoost kombinasyonu, derin ardışık öğrenme ile ensemble kararlarının birbirini nasıl güçlendirdiğini kanıtlıyor; Siamese doğrulayıcı ise üretim sistemlerinin beklediği kimlik kontrol katmanını sağlıyor. Genel olarak boru hattı hem bilimsel titizlik hem saha hazırlığı sunuyor.

Özet

IAM el yazısını CTC ile çözerken yazar kimliğini de öğrenen uçtan uca bir AI boru hattı kurdum; CRNN + XGBoost’u en yüksek doğruluğa taşıdım ve ek güvenlik için Siamese doğrulama katmanını ekledim.