RAG'nin Ötesinde: Önbellekle Desteklenen Mesil, Daha Küçük İş Yükleri için Gecikmeyi ve Karmaşıklığı Nasıl Azaltır?

Alımla artırılmış üretim (RAG), ısmarlama bilgiler için büyük dil modellerini (LLM'ler) özelleştirmenin fiili yolu haline gelmiştir. Bununla birlikte, RAG ön teknik maliyetlerle birlikte gelir ve yavaş olabilir. Şimdi, uzun bağlamlı LLM'lerdeki gelişmeler sayesinde, işletmeler tüm özel bilgileri istem içine ekleyerek RAG'yi atlayabilirler.

Tayvan'daki Ulusal Chengchi Üniversitesi tarafından yapılan yeni bir çalışma, uzun bağlamlı LLM'ler ve önbellekleme teknikleri kullanarak RAG işlem hatlarından daha iyi performans gösteren özelleştirilmiş uygulamalar oluşturabileceğinizi gösteriyor. Cache-augmented generation (CAG) olarak adlandırılan bu yaklaşım, bilgi külliyatının modelin bağlam penceresine sığabildiği kurumsal ortamlarda RAG için basit ve verimli bir ikame olabilir.

RAG'nin Sınırlamaları

RAG, açık alan sorularını ve özel görevleri ele almak için etkili bir yöntemdir. Taleple ilgili belgeleri toplamak için geri alma algoritmalarını kullanır ve LLM'nin daha doğru yanıtlar oluşturmasını sağlamak için bağlam ekler fakat RAG, LLM uygulamalarına çeşitli sınırlamalar getirmektedir. Eklenen geri alma adımı, kullanıcı deneyimini bozabilecek bir gecikmeye neden olur. Sonuç ayrıca belge seçimi ve sıralama adımının kalitesine de bağlıdır. Birçok durumda, erişim için kullanılan modellerin sınırlamaları, belgelerin daha küçük parçalara ayrılmasını gerektirir ve bu da erişim sürecine zarar verebilir. 

Genel olarak RAG, LLM uygulamasına karmaşıklık katarak ek bileşenlerin geliştirilmesini, entegrasyonunu ve bakımını gerektirir. Eklenen ek yük, geliştirme sürecini yavaşlatır.

Önbellek Destekli Geri Alma

Bir RAG işlem hattı geliştirmenin alternatifi, tüm belge külliyatını istem içine yerleştirmek ve modelin hangi bitlerin istekle ilgili olduğunu seçmesini sağlamaktır. Söz konusu yaklaşım, RAG ardışık düzeninin karmaşıklığını ve erişim hatalarının neden olduğu sorunları ortadan kaldırır.

Bununla birlikte, tüm belgeleri istem içine önden yüklemenin üç temel zorluğu vardır. Birincisi, uzun istemler modeli yavaşlatacak ve çıkarım maliyetlerini artıracaktır. İkincisi, LLM'nin bağlam penceresinin uzunluğu, bilgi istemine sığan belge sayısına sınır koyar. Ve son olarak, soruya alakasız bilgiler eklemek modelin kafasını karıştırabilir ve cevaplarının kalitesini düşürebilir. Dolayısıyla, en alakalı olanları seçmek yerine tüm belgelerinizi soruya doldurmak modelin performansına zarar verebilir.

Önerilen CAG yaklaşımı, bu zorlukların üstesinden gelmek için ise üç temel eğilimden yararlanmaktadır.

İlk olarak, gelişmiş önbellekleme teknikleri istem şablonlarının işlenmesini daha hızlı ve daha ucuz hale getirmektedir. CAG'nin öncülü, bilgi belgelerinin modele gönderilen her isteme dahil edileceğidir. Böylelikle, belirteçlerinin dikkat değerlerini istekleri alırken yapmak yerine önceden hesaplayabilirsiniz. Bu önceden hesaplama, kullanıcı isteklerinin işlenmesi için gereken süreyi azaltır.

OpenAI, Anthropic ve Google gibi önde gelen LLM sağlayıcıları, isteminizin başına eklediğiniz bilgi belgelerini ve talimatları içerebilen, isteminizin tekrar eden kısımları için istem önbelleğe alma özellikleri sağlar. Anthropic ile isteminizin önbelleğe alınan kısımlarında maliyetleri %90'a kadar, gecikme süresini ise %85 oranında azaltabilirsiniz. Açık kaynaklı LLM barındırma platformları için eşdeğer önbellekleme özellikleri geliştirilmiştir.

İkinci olarak, uzun bağlamlı LLM'ler istemlere daha fazla belge ve bilgi sığdırmayı kolaylaştırıyor. Claude 3.5 Sonnet 200.000 jetona kadar destek verirken, GPT-4o 128.000 jetonu ve Gemini 2 milyon jetona kadar destek vermektedir. Bu, birden fazla belgenin veya tüm kitapların istemlere dahil edilmesini mümkün kılmaktadır.

Son olarak ise, gelişmiş eğitim yöntemleri, modellerin çok uzun dizilerde daha iyi erişim, muhakeme ve soru cevaplama yapmasını sağlıyor. Geçtiğimiz yıl, araştırmacılar uzun dizi görevleri için BABILong, LongICLBench ve RULER gibi çeşitli LLM ölçütleri geliştirdiler. Bu ölçütler LLM'leri çoklu erişim ve çok atlamalı soru cevaplama gibi zor problemler üzerinde test etmektedir. Bu alanda hala gelişime ihtiyaç var, ancak yapay zeka laboratuvarları ilerleme kaydetmeye devam ediyor.

Yeni nesil modeller bağlam pencerelerini genişletmeye devam ettikçe, daha büyük bilgi koleksiyonlarını işleyebileceklerdir. Ayrıca, modellerin uzun bağlamlardan ilgili bilgileri çıkarma ve kullanma yeteneklerini geliştirmeye devam etmelerini bekleyebiliriz.

Araştırmacılar konuyla ilgili, “Bu iki eğilim, yaklaşımımızın kullanılabilirliğini önemli ölçüde artırarak daha karmaşık ve çeşitli uygulamaları ele almasını sağlayacaktır.” demekte ve eklemekte: “Sonuç olarak, metodolojimiz, yeni nesil LLM'lerin artan yeteneklerinden yararlanarak bilgi yoğun görevler için sağlam ve çok yönlü bir çözüm haline gelmek için iyi bir konumda.” 

RAG ve CAG Karşılaştırması

Araştırmacılar, RAG ve CAG'yi karşılaştırmak için yaygın olarak bilinen iki soru cevaplama ölçütü üzerinde deneyler yaptılar: Tek bir belgeden bağlama duyarlı Soru-Cevap'a odaklanan SQuAD ve birden fazla belgede çok atlamalı muhakeme gerektiren HotPotQA.

128.000 jetonluk bir bağlam penceresine sahip bir Llama-3.1-8B modeli kullandılar. RAG için, soruyla ilgili pasajları elde etmek için LLM'yi iki erişim sistemiyle birleştirdiler: temel BM25 algoritması ve OpenAI katıştırmaları. CAG için, karşılaştırma ölçütünden birden fazla belgeyi bilgi istemine eklediler ve soruyu yanıtlamak için hangi pasajların kullanılacağını modelin kendisinin belirlemesine izin verdiler. Deneyler, CAG'ın çoğu durumda her iki RAG sisteminden de daha iyi performans gösterdiğini ortaya koyuyor. 

Araştırmacılar, “Sistemimiz test setinden tüm bağlamı önceden yükleyerek, erişim hatalarını ortadan kaldırıyor ve ilgili tüm bilgiler üzerinde bütünsel bir muhakeme sağlıyor.” ve “Bu avantaj, özellikle RAG sistemlerinin eksik veya alakasız pasajları alarak optimal olmayan cevap üretimine yol açabileceği senaryolarda belirgin.” diye belirtiyor.

CAG ayrıca, özellikle referans metin uzunluğu arttıkça, cevap üretme süresini de önemli ölçüde azaltıyor. 

Belirtmekte fayda vardır ki CAG, sihirli bir değnek değildir ve dikkatli kullanılmalıdır. Bilgi tabanının sık sık değişmediği ve modelin bağlam penceresine sığacak kadar küçük olduğu ortamlar için çok uygundur. İşletmeler ayrıca belgelerinin, belgelerin bağlamına dayalı olarak çelişkili gerçekler içerdiği ve çıkarım sırasında modelin kafasını karıştırabilecek durumlara karşı dikkatli olmalıdır. 

CAG'nin kullanım durumunuz için iyi olup olmadığını belirlemenin en iyi yolu birkaç deney yapmaktır. Neyse ki, CAG'nin uygulanması çok kolaydır ve daha yoğun geliştirme gerektiren RAG çözümlerine yatırım yapmadan önce her zaman ilk adım olarak düşünülmelidir.