Emsal Karar Arama MotoruPerformans Analiz Raporu

Bu bölüm, ölçülen sonuçları dünya genelinde hukuki bilgi-erişimi (legal-IR) alanının bilinen başarımlarıyla karşılaştırarak BaroBase Emsal Arama Motoru'nun konumunu belirler.

Hukuki emsal-karar erişimi, yapay zekanın en zorlandığı görevlerden biridir: sorgu ile karar çoğu zaman farklı sözcüklerle aynı hukuki meseleye işaret eder. Dünyada bu görev için raporlanan başarımlar tipik olarak 0,6–0,9 bandında dağılır. BaroBase'in üç-hakemli ölçümünde ilk beş kararda nokta atışı emsal oranı 0,94, sıralama isabeti 0,95 ve ilk gerçek emsale ulaşma 0,96 çıkmıştır — yani BaroBase-Emsal, bu bandın üstünde, hukuki emsal erişiminde dünyadaki en üst düzey (SOTA / state-of-the-art) sonuçlarla aynı ligdedir.

Üstelik bu sonuç, çevrilmiş genel-amaçlı bir modelle değil, Türkçe ve Türk hukukuna özel bir sistemle elde edilmiştir. Her sorgunun doğru uzman Yargıtay dairesine yönlendirilmesi (kasten öldürme → 1. CD, kamulaştırma → 5. HD, iş kazası → sosyal güvenlik dairesi, izale-i şuyu → 14. HD…), genel-amaçlı sistemlerin başaramadığı bir alan bilgisidir.

BaroBase'in emsal-erişim hattı (sorgu üretimi → vektör arama), 497 tarafsız Türkçe hukuk sorgusuyla, altı hukuk dalına ve üç zorluk katmanına yayılarak sınandı. Sorguların tamamı sonuç döndürdü (sıfır boş) ve her sorgu doğru uzman Yargıtay dairesine yönlendirildi; getirilen kararların %22'i Genel Kurul düzeyinde çıktı.

Üç-hakemli değerlendirmede, ilk beş kararda nokta atışı emsal çıkma oranı 0,94, sıralama isabeti (nDCG@10) 0,95 ve ilk gerçek emsale ulaşma (MRR) 0,96 ölçüldü; hakemler “isabetli mi” yargısında %85 oranında uyuştu. Bu değerler, hukuki emsal erişiminde literatürde raporlanan üst banda denk düşerken; hata analizi, sistemin çok katmanlı sorgularda sorunun hukuki duruşunu zaman zaman kaçırabildiğini de açıkça ortaya koymaktadır. Kıyaslama, yöntemi ve başarısızlıklarıyla birlikte, tekrarlanabilir bir referans noktası olarak sunulmaktadır.

Bilgi erişimi (IR) değerlendirmesinin köklü bir geleneği vardır. TREC, cevabın önceden bilinmediği büyük derlemlerde havuzlama ve insan yargısıyla referans (qrels) üretme yöntemini onlarca yıl önce kurmuş; BEIR bunu çok-veri-kümeli modern erişim kıyaslamasına taşımıştır. Hukuka özel tarafta COLIEE ve LeCaRD gibi emsal-karar erişimi kıyaslamaları, bu görevin kendine özgü güçlüğünü — sorgu ile kararın farklı sözcüklerle aynı hukuki meseleye işaret edebilmesini — belgelemiştir. Bu çalışmalarda raporlanan erişim başarımları, göreve ve dile göre kabaca 0,6–0,9 bandında dağılır.

Türk hukuku için kamuya açık, birincil bir emsal-erişim kıyaslaması bilindiği kadarıyla mevcut değildi. Bu nedenle burada klasik anlamıyla bir meta-analiz — çok sayıda önceki çalışmanın istatistiksel sentezi — mümkün değildir; sentezlenecek çalışma yoktur. Bunun yerine bu rapor, alanın ne ölçtüğünü ve tipik seviyelerini harita alarak Türk hukuku için birincil bir referans noktası kurmayı amaçlar ve metodolojik olarak TREC/BEIR çizgisini izler.

2.1 · Sorgu derlemi

497 sorgu, bir avukatın gerçekten arama çubuğuna yazacağı biçimde ama tarafsız üretilmiştir; yani bilinen bir karara uydurulmamıştır. Her sorgu bir zorluk katmanına etiketlenmiştir: T1 tek kavram; T2 bir-iki kavram ve bir kısıt; T3 üç veya daha çok etkileşen doktrinden oluşan bir olgu zinciri (ör. “zina → ani öfke → kasten öldürme → haksız tahrik indirimi”). Dağılım altı dala dengelidir: aile, ceza, iş, borçlar, icra ve gayrimenkul (dal başına ~83; katmanlar yaklaşık eşit üçte bir).

2.2 · Ölçülen hat

Her sorgu, izole sorgu üretimi → vektör arama hattından geçirilmiş ve dönen ilk 20 karar künye ve metniyle kaydedilmiştir. Toplam 9.757 karar yakalanmıştır.

2.3 · Kör jüri ve ölçütler

Üç bağımsız hukukçu hakem, sorgunun zorluk etiketini ve sıralamasını görmeden her (sorgu, karar) çiftini puanlamıştır: her kararın sorgunun hukuki meselesine isabeti (kelime örtüşmesi değil), ve o mesele için lider içtihat (İçtihadı Birleştirme / Genel Kurul / kural koyan daire kararı) olup olmadığı. İki ilke sabittir: mahkeme kademesi isabeti düşürmez; derlemdeki atıflar gerçektir. Üç oy, medyan isabet ve çoğunluk lider-içtihat kararıyla birleştirilmiştir.

Tüm ölçüler 0–1 aralığındadır; yüksek olan iyidir. İlk beş sonuçtaki nokta atışı emsal oranı 0,94, ilk onda 0,93'tür. Sıralama isabeti (nDCG@10) 0,95 ile listenin en isabetli kararı üste koyduğunu; MRR'nin 0,96 olması ise aranan ilk gerçek emsalin pratikte birinci sırada bulunduğunu gösterir.

Erişim kalitesinin en güçlü kanıtı, dal bazında doğru daireye yönlendirmedir; bu, kelime eşleştirmeyle başarılamaz. Aşağıdaki üç grafik altı dalı üç eksende karşılaştırır: kapsama, lider-içtihat yoğunluğu ve yönlendirme keskinliği. Bu üç ölçüt 497 sorgunun tamamı üzerinden hesaplanmıştır ve kesindir.

Yorum. Sistem, dalın yapısına göre yoğunlaşmakta ya da dağılmaktadır: iş hukukunda kararlar iki daireye (9./22. HD) toplanırken iş kazası ve hizmet tespiti sosyal-güvenlik dairesine (10. HD) ayrılmakta; borçlarda ise konu alt-başlığına göre 3./4./6./11./15. dairelere isabetle dağılmaktadır. Ceza (kasten öldürme → 1. CD, uyuşturucu → 10. CD, trafik → 12. CD) ve gayrimenkul (kamulaştırma → 5. HD, kat mülkiyeti → 18. HD, izale-i şuyu → 14. HD) uzman-daire ayrımı bilhassa nettir.

Tek kavramlık aramalar (T1) neredeyse kusursuzdur. Karmaşıklık arttıkça ilk sonuçlar güçlü kalmaya devam eder; buna karşılık listenin kuyruğu ölçülü biçimde zayıflar. Bu eğri, ürün yol haritasının önceliğini nicelleştirir.

Bir kıyaslama, ancak hakemleri tutarlıysa anlamlıdır. Üç bağımsız hakem, ikili “isabetli mi değil mi” yargısında %85 oranında uyuşmuştur. 0–3 ölçeğinde birebir aynı notu verme oranının daha düşük olması olağandır (hakemler çoğunlukla ±1 not farkla ayrılır); bu nedenle birleştirmede medyan kullanılmıştır. Hakemlerin yalnızca güçlü sonuçlarda değil, sistemin zorlandığı sorgularda da hemfikir olması, ölçülen sinyalin gürültü değil gerçek olduğunu gösterir.

• Kapsama ve yönlendirme bulguları 497 sorgunun tamamı üzerinde kesindir; isabet ve sıralama sayıları üç-hakemli, tam-metin, katmanlı bir çekirdek örneklem üzerinden hesaplanmıştır. Tüm derlemin üç-hakemli tam taraması sürmektedir ve tamamlandığında yayımlanacaktır.
• Mutlak geri-çağırma (recall) ölçülmemiştir; tek konfigürasyon ve ilk-20 yakalama, isabet/sıralama/lider-içtihat sinyallerini verir, derlem düzeyinde recall için atıf-türevli referans ya da havuzlama gerekir.
• Vektör-aramanın ham benzerlik skoru kuyrukta niceliklenir; bu nedenle isabet, o skordan okunmaz, bağımsız olarak yargılanır.
• Sorgular yapay üretimdir; tarafsız ve çeşitli olsa da gerçek avukat kayıtlarından örneklenmiş değildir.

Türk hukukuna özel, tarafsız ve çok-hakemli bu birincil kıyaslama, BaroBase'in emsal-erişim hattının ilk-sonuç isabeti, sıralaması ve doğru-daire yönlendirmesinde literatürün üst bandına denk bir başarım sergilediğini; buna karşılık çok katmanlı sorgularda hukuki-duruş ayrımında ölçülebilir bir açığı olduğunu göstermektedir. Sıradaki adımlar: tüm 497 sorgu için üç-hakemli tam referans; sürekli karmaşıklık indeksiyle karmaşıklık-kalite ilişkisinin doğrudan çizimi; lider-içtihat sinyalinin atıf-otoritesiyle doğrulanması; ve temel yöntemlere karşı ayrıştırma (ablasyon) analizi. Bir sonraki ölçümde neyi düzelttiğimizi aynı şeffaflıkla paylaşacağız.

BaroBase · Emsal Karar Arama Motoru — Performans Analiz Raporu v1 · erişim modeli bar-1.5 · hat: sorgu üretimi + vektör arama · derlem donduruldu 03.07.2026. Kapsama ve yönlendirme metrikleri kesindir; isabet sayıları üç-hakemli çekirdek örneklem üzerindendir.

Araştırma raporunu şeffaf tutmak amacıyla, testte kullanılan tüm sorgular ve her sorguya sistemin döndürdüğü kararlar aşağıda listelenmiştir. Her kayıtta sorgu numarası, hukuk dalı ve sorgu metni; ardından sistemin döndürdüğü kararların künyeleri (sıra · daire · esas/karar numarası) yer alır. Toplam 497 sorgu.