Hukuki AI dünyasının en bilinen kâbusu: gerçekte var olmayan bir Yargıtay kararına atıf yapan, mevcut olmayan bir Kanun maddesinden alıntı yapan ya da kelime kelime uydurulmuş bir “emsal” sunan sistemler. Bu olgu, halüsinasyon olarak biliniyor ve genel amaçlı büyük dil modellerinin doğasında olan bir özellik.
Cesta Lex ve AIHM AI ürünlerimizi tasarlarken işe ilk sorduğumuz soru şuydu: Kaynak gösterilemeyen tek bir cümle üretmemeli. Bu prensip, ürünün her mimari kararını belirliyor.
Halüsinasyon neden hukukta daha tehlikeli?
Çünkü hukuk sözcüklerle yaşıyor. Bir maddeyi yanlış aktarmak, bir kararın gerekçesini çarpıtmak ya da bozma sebebi olmayan bir hususu bozma sebebi gibi göstermek; sadece dosyayı kaybettirmekle kalmaz, mesleki sorumluluk doğurur. Üstelik halüsinasyonun en sinsi tarafı şu: çoğunlukla doğru gibi okunur. Tecrübeli bir hukukçu bile sıkışık bir gecede yanlış atfedilmiş bir kararı dosyaya koyabilir.
Yaklaşımımız: Çok katmanlı doğrulama
Sistemimiz, model çıktısını üç bağımsız katmanda doğrular. Bir cümlenin kullanıcıya ulaşması için en az bir katmandan geçer hâlde olmalıdır:
Katman 1 — Mevzuat çapası
Model bir kanun maddesine atıf yaptığında, bu atıf otomatik olarak mevzuat veritabanımızda aranır. Madde gerçekten var mı, atfedilen ifadeyi gerçekten içeriyor mu, yürürlükteki sürümü hangisi? Eşleşmeyen atıflar sessizce silinmez; başka bir katmana geçirilir ya da kullanıcıya işaretle gösterilir.
Katman 2 — İçtihat alıntısı
Yargıtay veya AİHM kararına atıf yapıldığında karar metni vektör tabanlı olarak çekilir ve modelin gerekçelendirmesiyle karşılaştırılır. Bunun için her cümleyi şu üç değer üzerinden puanlarız:
- Kaynak varlığı: Atıf yapılan karar gerçekten veritabanımızda var mı?
- Anlam uyuşması: Modelin söylediği şey, kararın söylediğiyle örtüşüyor mu?
- Bağlam uyumu: Karar, sorgulanan olayın bağlamına gerçekten uyuyor mu?
Katman 3 — Doktrinel mutabakat
Cevabın temel iddiası (örn. “AGİ kıdem hesabına dahil edilmez”), modelin geliştirilirken eğitildiği doktrinel kaynaklarla karşılaştırılır. Bu katmanın amacı, mevzuat ve içtihat doğru bile olsa, modelin yanlış sonuç çıkarmamasını sağlamak.
Pratikte ne görüyorsunuz?
Kullanıcı arayüzünde bu süreç, üç şeyle kendini gösterir:
- Her paragrafın altında, doğrudan kaynak kartları (örn. “9. HD · 2022/14580 E.” — tıklanabilir).
- Modelin emin olmadığı cümlelerde sarı bir uyarı çubuğu: “Bu ifade doğrulanamadı, lütfen kaynağı kendiniz inceleyin.”
- Çıktı düzeyinde bir güven skoru: yüksek (yeşil), orta (sarı), düşük (kırmızı). Düşük güvenli çıktılar dosyaya konulmadan önce mutlaka gözden geçirilmelidir.
Hiçbir AI sistemi %100 halüsinasyon-sız değildir. Bizim hedefimiz daha gerçekçi: hukukçunun mesleki sorumluluğunu üstlenmesini güvenli kılan bir şeffaflık. Kaynak gösterilmemiş bir cümle, bizde “eksik” sayılır.
Trade-off: hız vs. doğruluk
Çok katmanlı doğrulama, ham model çıktısına göre yanıt süresini ortalama %30 uzatır. Buna karşılık halüsinasyon oranını test setlerimizde %12'den %0.4'e indirir. Bu trade-off'u kabul ediyoruz; çünkü saniyeler kazanmak için bir avukatın itibarını kaybetmesinin anlamı yok.
Sonuç
Hukuk için yapay zeka, genel amaçlı modelin üzerine yapıştırılan bir arayüz değildir. Doğrulanabilirlik en alttaki katmandan başlamalı. Cesta Lex ve AIHM AI'ı bu prensiple inşa ettik ve etmeye devam edeceğiz.