Era Brain: Yetkiye Duyarlı Bir İşletme Belleğinin Geri Getirme, Çok Adımlı Kayıt Sorguları ve Erişim Denetimi Açısından Değerlendirilmesi

Dil modeli ajanları için geliştirilen bellek katmanları genellikle uzun sohbet geçmişleri üzerinde değerlendirilir: tek bir kullanıcı haftalarca bir asistanla konuşur, sistemden de söylenenleri hatırlaması beklenir [1, 2]. Bir işletmenin soruları ise farklıdır. “Bu müşterinin son siparişinin faturası ödendi mi?” sorusunun yanıtı, ilişkilerle birbirine bağlanan üç senkron kayıtta durur; dünden bu yana değişmiş olabilir ve fatura görme yetkisi olmayan bir satış asistanına ulaşmamalıdır. Üstelik dil çoğu zaman Türkçedir ve sondan eklemeli yapı, düz anahtar sözcük aramasını işlemez hâle getirir.

Bu ortam için açık kıyaslama verisi azdır. CRM verisi üzerinde çalışan ajan kıyaslamaları [3, 4] ve paylaşılan ajan belleğinde erişim denetimini ölçen 2026 tarihli bir kıyaslama [5] mevcuttur; ancak hiçbiri bir bellek katmanının senkron işletme kayıtları üzerindeki geri getirmesini kişi bazlı yetkiler altında ölçmez. Bu nedenle iki tür kanıt sunuyoruz: Era Brain'i yayımlanmış sistemlerle yan yana koyabilmek için açık konuşma kıyaslamalarında standart geri getirme ve yanıt doğruluğu sonuçları; ve kuruluşunu ve sınırlarını 3. ve 6. bölümlerde açıkladığımız, kendi hazırladığımız işletme ve yetki testleri.

Bu raporun dört katkısı vardır:

1. Era Brain'in yazma, saklama ve okuma yollarının, her iddiası kaynak koda bağlanarak tanımlanması (Ek A);
2. LongMemEval-S ve LoCoMo üzerinde, kıyaslamaların kendi soru sayıları ve ölçüt adlarıyla raporlanan geri getirme ve yanıt doğruluğu sonuçları;
3. Türkçe ve İngilizce bir işletme belleği değerlendirmesi: soru türleri, 100.000 çizge satırında çok adımlı kayıt birleştirmeleri, en güncel değer soruları ve bağlam büyüklüğü;
4. 865 gizli bilginin yerleştirildiği ve üyelere açık her okuma yolundan geçirilen bir yetki testi ile altı bellek sisteminin 22 Ekim 2026 itibarıyla belgelenmiş yetenekleriyle karşılaştırılması.

Era Brain bir yazma yolu, bir depo ve bir okuma yolundan oluşur (Şekil 1). Yazma yolu senkron kayıtları ve yazışmaları bilgilere, varlıklara ve tipli ilişkilere dönüştürür. Depo tek bir PostgreSQL veritabanıdır. Okuma yolu bir soruyu dil modeli çağırmadan yanıtlar. Arka plan işleri çizgeyi zenginleştirir; bu değerlendirmede çalıştırılmamışlardır.

2.1 Mimari

Bağlı uygulamalardan gelen kayıtlar dil modeli kullanılmadan yazılır. Her kayıt geldiği modülle (satış, finans, İK, …) etiketlenir, kendi tarihinden itibaren sürümlenir ve senkron yeniden denendiğinde bile yalnızca bir kez yazılır: bellek kaydı, bağlantıları, kenarları, sürümü ve senkron defteri tek bir kilitli işlemde yazılır; varlıklar bu işlemden önce, tekrarlansa da aynı sonucu verecek biçimde eklenir veya güncellenir. Yazışmalar ise LLM ile bilgi çıkarımından geçer. Çıkarılan bilgiler kişilere, şirketlere, ürünlere ve konulara bağlanır, senkron kayıtlara bağlanmaz; bir sohbette geçen sipariş numarası kayıtla ancak soru sorulduğunda, metin üzerinden eşleşir.

İki bileşen kodda mevcuttur ancak üretimde henüz veri almamaktadır: nedensel karar çizgesi ve onun özet zincirli günlüğü¹. Gece çalışan pekiştirme işinde de bilinen bir eksik vardır².

2.2 Okuma yolu

Bir soru, tek bir okuma işlemi içinde altı adımda yanıtlanır (Şekil 2):

1. 1Çapalar. Sorudaki adlar önce birebir eşleştirilir; Türkçe hâl ekleri atılır (“Ağaoğlunun” → Ağaoğlu). Ardından sözcük içerme ve trigram benzerliğine, son olarak anlama (en yakın bellek kayıtlarının arkasındaki varlıklara) bakılır. Tür sözcükleri (“sipariş”, “fatura”, ünsüz yumuşamasıyla “talebindeki” → talep) ulaşılacak düğüm türünü belirler.
2. 2Hibrit geri getirme. İngilizce ve Türkçe durak sözcükleri atılmış bir tam metin sorgusu ile bir vektör sorgusu (HNSW, kosinüs) birlikte çalışır; sonuçlar karşılıklı sıra (reciprocal rank) yöntemiyle birleştirilir.
3. 3Yol araması. Çapalardan başlayan yürüyüş, tipli ilişkiler üzerinde en çok üç adım ilerler. Her düzeyde en umut verici 48 düğüm yola devam eder (toplamda en çok 600). 50'den fazla komşuya açılan bir ilişki, soruda adı geçmedikçe izlenmez. Sorulan ilişkiler ve türler karşılandığında yürüyüş durur.
4. 4Sıralama. Çizge bilgileri, soruya vektör uzaklığına ve sorudaki sözcük köklerinden kaçını içerdiğine göre puanlanır; dönem ifadeleri (“geçen ay”, “eylülde”) o döneme ait bilgileri öne alır. Aynı nitelik iki kez söylenmişse en yenisi önce gelir, eskisi “önceki” olarak işaretlenir.
5. 5Görünürlük. Her sorgu, soranın görünürlük kuralını taşır (Bölüm 2.3): kişinin göremeyeceği bir düğüm ne döndürülür ne de üzerinden geçilir.
6. 6Sıkıştırma. Çapalar, kanıtlarıyla birlikte yanıt yolları ve kalan en iyi bilgiler bir token bütçesi içinde yazılır (sohbette yaklaşık 1.000 token; token başına üç karakter varsayılarak tahmin edilir).

2.3 Görünürlük kuralı

Erişim iki katmanda uygulanır (Şekil 4). PostgreSQL satır düzeyi güvenliği (RLS) her bağlantıyı tek bir organizasyon ve çalışma alanına bağlar. Bunun üzerine, her okuma sorgusuna ortak bir görünürlük kuralı eklenir: üyenin okuyamadığı modüllere ait bilgiler (platformdaki rol yetkilerinden çözülür), başkalarının özel ya da kişisel bilgileri ve geçerliliğini yitirmiş bilgiler dışarıda bırakılır. Yalnızca gizli bilgilerde adı geçen bir varlık düğüm sayılmaz; bir kenar da ancak modülü okunabiliyorsa ve iki ucu da görünürse izlenir. Üyenin yetkileri çözülemezse kural hiçbir modülü okumama durumuna düşer. Bir iş akışı ya da araştırma işi gibi kişisi olmayan bir ürün çağıranı yalnızca çalışma alanında paylaşılan bilgileri okur. Modül ve gizlilik denetimleri RLS politikası değil, sorgu koşuludur³.

2.4 Bir aramanın dokunduğu servisler

Şekil 5, tek bir arama çağrısının dokunduğu servisleri sayar. Era Brain sorgu gömmesini süreç içinde hesaplar ve tek bir PostgreSQL veritabanına, tek işlem içinde yaklaşık on SQL ifadesi gönderir. Güncel sistemlerin birçoğu da varsayılan okuma yolunda dil modeli kullanmaz; Mem0 v3, Graphiti ve Zep ile Supermemory bunlar arasındadır [6, 7, 8, 9]. Dolayısıyla şekildeki fark, yalnızca LLM olmaması değil, servis ve ağ geçişi sayısıdır. Üretimde stüdyo gömme modeline tek bir iç HTTP çağrısıyla ulaşır; kıyaslamada model süreç içinde çalıştırıldı.

Veri setleri aşağıda listelenmiştir (Tablo 2). Bir dipnotta aksi belirtilmedikçe tüm koşular 3aba0bbfb commit'indeki kodla yapılmıştır.

3.1 Ölçütler

İlk 10'da kanıt (en az biri / tümü).

Altın kanıt öğelerinden en az birinin ya da hepsinin dönen 10 öğe arasında olup olmadığı: LongMemEval'de oturumlar veya turlar, LoCoMo'da diyalog turları. LongMemEval'in resmî geri getirme ölçütü recall_all'dur [1]; ikisini de raporluyoruz. Yanıt verilmemesi beklenen (abstention) 30 sorunun kanıtı yoktur ve LongMemEval'in kendi geri getirme puanlamasında olduğu gibi dışarıda bırakılmıştır. Kanıt etiketi olmayan dört LoCoMo sorusu ıskalanmış sayılır.

Yanıt bağlamda.

İşletme setlerinde: altın yanıt metni dönen bağlamda geçiyor mu (büyük/küçük harf duyarsız, Türkçe yerel ayarıyla). Yanıtın doğru kanıttan geldiğini kanıtlamaz; 100 bin setinin üç adımlı sorularında her adımın kaynak bilgisi 5/40 durumda bağlamdadır.

Yanıt doğruluğu (QA).

Bir okuyucu model her LoCoMo sorusunu dönen bağlamdan yanıtlar; bir LLM hakem yanıtı altın yanıtla karşılaştırarak puanlar; düzen [10] ile aynıdır. Okuyucu: claude-haiku-5-5; hakem: claude-haiku-5-5.

Token.

Dönen bağlam metninin cl100k_base ile sayımı; bellek listeleri her kayıt bir satır olacak biçimde yazılır.

Gecikme.

Kıyaslama sürecinde tek bir geri getirme çağrısının medyan (p50) duvar saati süresi: yerel sorgu gömmesi ve aynı makinede Docker içindeki PostgreSQL'e giden tüm sorgular dahil (Windows 11, 24 çekirdek); tek istemci, ısınmış, ilk sorgu hariç, uzak ağ yok.

3.2 Çalıştırılmayanlar

LongMemEval ve LoCoMo'da konuşmalar bilgi çıkarımı yapılmadan ham metin olarak saklandı; bu nedenle yalnızca hibrit geri getirme çalıştı, çizge kullanılmadı. Model maliyetini sıfırda tutmak için LLM ile bilgi çıkarımı, ilişki değerlendirme, pekiştirme ve ilişki keşfi kapalıydı; etkileri ölçülmemiştir. İşletme setlerinde kayıtlar ve ilişkiler, canlı bir uygulamanın bağlayıcı eşlemesinden geçmek yerine doğrudan yazıcının girdi biçiminde üretildi. Tekrarlanan koşular set başına yaklaşık bir soru farklılık gösterir, gecikmeler de koşudan koşuya değişir⁴.

4.1 Yanıt doğruluğu

Şekil 6, Era Brain'in LoCoMo yanıt doğruluğunu, konuşmanın tamamını okuyan aynı modelli bir taban çizgisiyle ve yayımlanmış değerlerle yan yana gösterir. Yayımlanmış değerler farklı okuyucu ve hakem modelleri kullanır, tarafımızca yeniden koşulmamıştır ve tarihe göre gruplanmıştır. Mem0 ve Zep'in 2026 sonuçları [11, 8], 2025 makalelerine [10, 12] göre daha yeni okuyucular kullanır. Zep için 2025'te verilen %66,0 değeri Mem0 ekibince üretilmiştir ve Zep buna itiraz eder; Zep'in kendi koşusu %75,1 bildirir [13]. LoCoMo etiketlerinde, hakemle puanlanan her sonucu etkileyen hatalar vardır⁵.

4.2 Geri getirme

Şekil 7, açık kıyaslamalardaki geri getirme sonuçlarını verir. LongMemEval-S'te hibrit geri getirme, soruların %98,3 kadarında en az bir kanıt oturumunu, %90,2 kadarında ise tüm kanıt oturumlarını ilk 10'a yerleştirir. Düz vektör araması (ilk 10) “en az biri” ölçütünde zaten %97,9 değerine ulaştığından kıyaslama burada az fark bırakır; yöntemleri “tümü” ölçütleri daha iyi ayırır. LoCoMo'da hibrit geri getirme en az bir kanıt turunu %72,4 oranında bulur; düz vektörde bu oran %62,6, bağlam ise yaklaşık 596 tokendır.

4.3 İşletme belleği

Şekil 8, ayrı tutulan seti soru türlerine ayırır. Doğrudan sorgular, iki adımlı sorular (kişi → işveren → vergi numarası, IBAN ya da web sitesi; destek talebi → atanan personelin telefonu; ürün → tedarikçinin telefonu), dönem soruları ve en güncel değer soruları neredeyse eksiksiz yanıtlanır. İki tür zayıf kalır: bir kaydı bir yazışmayla birleştiren sorular (soruda sipariş geçer, yanıt müşterinin WhatsApp ya da e-postasındadır; 37/60) ve şikâyet → sipariş → fatura → ödeme zinciri (19/30). Türkçe sorularda başarı %91,8, İngilizce sorularda %80,0.

En güncel değer kazanır. Bir kayıt yeni bir değerle yeniden senkronize edildiğinde ya da bir yazışma önceki bir ifadeyi düzelttiğinde, yeni bilginin önce gelmesi gerekir. Bu koşul kayıt güncellemelerinde 20/20, yazışma güncellemelerinde 24/25 oranında sağlandı.

Şekil 9, 100.000 satırlık ölçek setindeki çok adımlı soruları ayrıca gösterir. Yol araması doğrudan, iki adımlı ve üç adımlı soruların hepsini yanıtlar. Aynı bellek kayıtları üzerinde düz vektör araması (ilk 10) iki adımlı sorularda 0/60, üç adımlı sorularda 1/40 doğru sonuç verir; genelde aldığı %35'lik değer (70/200) neredeyse tamamen doğrudan sorgulardan gelir. Vektör tabanlı RAG için açık çok adımlı sorularda da aynı örüntü bildirilmiştir [14].

4.4 Bağlam büyüklüğü

Şekil 10, soru başına bağlam tokenlarını karşılaştırır. LoCoMo'da hibrit geri getirme on ham tur döndürür; bu yaklaşık 596 tokendır. İşletme sorularında yol araması 1.067 token döndürür, bir Era sohbet turu ise modele 1.245 token verir. 2025 değerleri, Mem0, Mem0g ve Zep'in QA sonuçları için kullandıkları bağlamdır; 2026 sistemleri çok daha yüksek doğruluk için daha büyük bağlam kullanır. Daha düşük geri getirmeyle daha az token, eşit koşullarda daha ucuz anlamına gelmez; tokenlaştırıcılar da farklıdır. Bu nedenle bu sayılar yol göstericidir.

4.5 Gecikme

Şekil 11 medyan arama süresini gösterir. Era Brain'in değerleri süreç içinde, ağ geçişi olmadan ölçülmüştür; şirketlerin değerleri ise barındırılan servisleri üzerinden ya da yayınlarında belirtildiği biçimde ölçülmüştür. Bu nedenle karşılaştırma bir sıralama değil, büyüklük mertebesi verir. Yayımlanmış en hızlı barındırılan geri getirme gecikmesine göre (Zep, LoCoMo'da 87 ms), Era Brain'in 29 ms değeri yaklaşık 3 kat daha düşüktür. İşletme sorularında çizge geri getirmesi daha uzun sürer (53 ms), çünkü üç düzeye kadar yürür ve her düzeyde görünürlük kuralını uygular⁶.

4.6 Yetkiler

Yetki testinde bir satış üyesi (finans, fatura ve İK yetkisi yok) her soruyu, bir finans üyesi (İK yetkisi yok) ise hedefli her yetki sorusunu sorar. A setine 865 gizli bilgi (820 fatura tutarı, 20 maaş, 15 kredi limiti, 10 özel not), H setine 790 gizli bilgi yerleştirildi. Soranın görmemesi gereken bir gizli bilginin dönen bağlamda yer alması sızıntı sayılır. Üyelere açık yedi okuma yolu tarandı: ajan servisinde bellek ve çizge geri getirmesi, stüdyoda geri getirme, Era'nın bellek araması ve bellek çizgesi araçları, Era sohbet turu bağlamı ve builder copilot bağlamı. Kişisi olmayan sekiz çağıran (araştırma, iki iş akışı bloğu, iç geri getirme ve listeleme, copilot ve çizge bağlamı, toplantı özeti) ayrıca denetlendi. Sonuç Şekil 12 içinde görülüyor: hiçbir yanıtta sızıntı yok.

4.7 Sonuçları değiştiren adımlar

Tablo 3, sonuçları en çok etkileyen değişiklikleri listeler. Her satır motoru, adı geçen değişiklikten önce ve sonra, aynı veri ve makinede karşılaştırır. Satırların çoğu birbiriyle ilişkili birkaç değişikliği birlikte içerir; bu yüzden bir satır tek bir tekniğin etkisini yalıtmaz.

Tablo 4, her projenin 22 Ekim 2026 itibarıyla belgelediği yetenekleri; şirket belgeleri, makaleler ve kaynak kod üzerinden karşılaştırır [6, 7, 15, 9, 16, 17, 18, 19]. Yalnızca belgelenmiş olanı işaretledik; “?” aradığımız hâlde bulamadığımız anlamına gelir. İki bulgu Era Brain'in aleyhinedir. Birincisi, dil modeli kullanmayan bir okuma yolu artık ayırt edici değildir: Mem0 v3, Graphiti, Zep ve Supermemory varsayılan olarak LLM çağırmaz. İkincisi, ince taneli erişim başka sistemlerde de vardır: Zep Enterprise, veri alınırken eklenen üst verilere dayalı politika ve nitelik kuralları sunar [15]; Supermemory üyeleri ad alanlarıyla sınırlar; Cognee yetkileri veri seti bazında verir. Başka bir sistemde bulamadığımız şey, işletmenin kendi rol ve modül yetkilerinden türetilen ve çizgenin her adımında uygulanan bilgi bazlı bir kural ile yayımlanmış bir yetki sızıntısı testidir.

Diğer sistemler birkaç alanda öndedir: yayımlanmış uçtan uca QA sonuçları (Mem0, Zep, Supermemory); geçersiz kılmayla çift zamanlı kenarlar (Zep ve Graphiti; Era'nın kenarlarında geçerlilik aralığı yoktur ve çizge yürüyüşleri yalnızca güncel bilgileri okur); yönetilen bilgi çıkarımı ve özel ontolojiler (Zep, Mem0); barındırılan ürünler, SDK'lar ve entegrasyonlar; belgelenmiş uyumluluk (Zep: SOC 2 Type II, HIPAA; Supermemory: SOC 2, HIPAA); açık değerlendirme altyapıları (Mem0, Supermemory). LoCoMo'da yalnızca dosya arayan bir ajan (Letta, gpt-4o-mini) %74,0 aldı [17]; bu, Mem0'ın 2025 sonucunun üzerindedir. Dolayısıyla wiki gibi dosya ve aramaya dayalı bir bellek, sohbet hatırlama için güçlü bir taban çizgisidir. Bizim karşılaştırmamız işletme kayıtları ve yetkilerle ilgilidir.

• Bu taslakta yanıt doğruluğu henüz bekliyor. Diğer tüm doğruluk değerleri geri getirmeye aittir: kanıtın modele ulaşıp ulaşmadığını ölçer, doğru bir yanıt üretilip üretilmediğini değil.
• İşletme setleri sentetiktir ve tarafımızca hazırlanmıştır. H2, ayarlama sırasında kullanılan bir setin yeniden ifade edilmiş türevidir; gerçek müşteri verisiyle doğrulama henüz yapılmamıştır.
• İşletme setlerindeki kayıtlar ve ilişkiler yazıcının girdi biçiminde üretildi. Bugünkü bağlayıcı eşlemesi, genel bir uygulama için genel ilişkiler (bought, paid by, related to) üretir; bu nedenle canlı bir çizge, burada üzerinde yürünen çizgeden daha seyrek olabilir.
• “Yanıt bağlamda” bir metin eşleşmesidir. 100 bin setinin üç adımlı sorularında her adımın kaynak bilgisi 5/40 durumda bağlamdadır; yanıt yol satırı üzerinden gelir.
• 100 bin seti ürün üzerinden yazılmadı, SQL ile toplu yüklendi; soruları yalnızca sahip sordu.
• Gecikme, yerel veritabanında tek istemcili, süreç içi bir çağrıdır; LoCoMo ve LongMemEval gecikmeleri geri getirmeye yapılan son hız değişikliğinden önce ölçüldü.
• LLM katmanları (bilgi çıkarımı, ilişki değerlendirme, pekiştirme, ilişki keşfi) çalıştırılmadı. Pekiştirmenin ürettiği bilgiler henüz modül, çalışma alanı ve gizlilikle etiketlenmiyor; sıfır sızıntı sonucu bu bilgileri kapsamaz.
• Belirli bir tarihteki durumu soran (as-of) geri getirme test edilmedi; çizge kenarlarında geçerlilik aralığı yoktur.
• Rakip değerleri yayınlarından alınmıştır, yeniden koşulmamıştır; farklı modeller, tokenlaştırıcılar ve düzenler kullanırlar.
• LoCoMo CC BY-NC 4.0 lisanslıdır; yalnızca değerlendirme için kullanıldı ve yeniden dağıtılmadı. Değerlendirme altyapısı henüz açık değildir.

Era Brain işletme sorularını, okuma yolunda dil modeli kullanmadan, tek bir PostgreSQL veritabanından yanıtlar. Bu ortam için kurduğumuz testlerde (çok adımlı kayıt birleştirmeleri, en güncel değerler, Türkçe ifadeler ve üye bazlı yetkiler) ayrı tutulan sorularda yanıtı %88,9 oranında buldu ve 12.560 yanıtın hiçbirinde gizli bilgi sızdırmadı; bunu sohbet turu başına yaklaşık 1.245 tokenlık bağlamla yaptı. Açık konuşma kıyaslamalarında geri getirmesi düz vektör taban çizgisini geçer; LoCoMo yanıt doğruluğu %76,1. Sonraki adımlar: gerçek müşteri verisiyle doğrulama, değerlendirme altyapısının açık olarak yayımlanması, açık bir erişim denetimi kıyaslamasının [5] koşulması ve pekiştirmenin ürettiği bilgilerin modül, çalışma alanı ve gizlilikle etiketlenmesi.

Depo commit'i 3aba0bbfb. Yollar depo köküne görelidir; brain-paths = packages/db/brain-paths.ts, brain-viewer = packages/db/brain-viewer.ts.