Halüsinasyonlar – temelde üretken yapay zeka modellerinin söylediği yalanlar – teknolojiyi operasyonlarına entegre etmek isteyen işletmeler için büyük bir sorundur.

Çünkü modellerin gerçek bir zekası yoktur ve basitçe kelimeleri, görüntüleri, konuşmaları, müziği ve diğer verileri özel bir şemaya göre tahmin etmekbazen yanlış anlıyorlar. Hem de çok yanlış. Wall Street Journal’da yakın zamanda yayınlanan bir yazıda kaynak Microsoft’un üretici yapay zekasının toplantı katılımcılarını icat ettiği ve konferans görüşmelerinin aslında görüşmede konuşulmayan konular hakkında olduğunu ima ettiği bir örneği anlatıyor.

Bir süre önce yazdığım gibi, halüsinasyonlar günümüzün dönüştürücü tabanlı model mimarileri ile çözülemeyen bir sorun olabilir. Ancak bazı üretken yapay zeka sağlayıcıları, bu sorunu olabilir geri getirme artırılmış üretim veya RAG adı verilen teknik bir yaklaşımla aşağı yukarı ortadan kaldırılabilir.

İşte bir satıcı, Squirro, atar:

Teklifin özünde, çözüme gömülü olan Geri Alım Artırılmış LLM’ler veya Geri Alım Artırılmış Nesil (RAG) kavramı yer almaktadır … [our generative AI] sıfır halüsinasyon vaadiyle benzersizdir. Ürettiği her bilgi parçası bir kaynağa kadar izlenebilir ve güvenilirlik sağlar.

İşte bir benzer adım SiftHub’dan:

SiftHub, RAG teknolojisini ve sektöre özgü bilgi eğitimiyle ince ayarlanmış büyük dil modellerini kullanarak şirketlerin sıfır halüsinasyonla kişiselleştirilmiş yanıtlar oluşturmasına olanak tanır. Bu, şeffaflığın artmasını ve riskin azalmasını garanti eder ve tüm ihtiyaçları için yapay zekayı kullanma konusunda mutlak güven verir.

RAG, Meta ve University College London’da araştırmacı olan veri bilimci Patrick Lewis tarafından öncülük edilmiş ve 2020 Kağıt bu terimi ortaya atan kişi. Bir modele uygulanan RAG, bir soruyla ilgili olması muhtemel belgeleri (örneğin, Super Bowl hakkındaki bir Wikipedia sayfası) esasen bir anahtar kelime araması kullanarak alır ve ardından modelden bu ek bağlamı göz önünde bulundurarak yanıtlar üretmesini ister.

“Aşağıdaki gibi üretken bir yapay zeka modeliyle etkileşime girdiğinizde ChatGPT veya Lama Kâr amacı gütmeyen Allen Enstitüsü’nün yapay zeka odaklı araştırma bölümü AI2’de araştırmacı bilim insanı olan David Wadden, “Bir soru sorduğunuzda, varsayılan olarak modelin ‘parametrik hafızasından’, yani web’den alınan devasa veriler üzerinde yapılan eğitimin bir sonucu olarak parametrelerinde depolanan bilgiden yanıt vermesi gerekir” dedi. “Ancak, tıpkı bir referansınız varsa daha doğru cevaplar verme olasılığınız gibi [like a book or a file] Aynı şey bazı durumlarda modeller için de geçerlidir.”

RAG inkar edilemez derecede yararlıdır – bir modelin ürettiği şeylerin gerçekliğini doğrulamak için alınan belgelere atfedilmesine izin verir (ve ek bir fayda olarak, potansiyel olarak telif hakkı ihlalinden kaçınır regürjitasyon). RAG ayrıca, belgelerinin bir modeli eğitmek için kullanılmasını istemeyen kuruluşların (örneğin, sağlık ve hukuk gibi yüksek düzeyde düzenlemeye tabi sektörlerdeki şirketler) modellerin bu belgelerden daha güvenli ve geçici bir şekilde yararlanmasına izin vermesine olanak tanır.

Ama RAG kesinlikle yapamam bir modelin halüsinasyon görmesini engeller. Ve birçok satıcının görmezden geldiği sınırlamaları vardır.

Wadden, RAG’nin en çok kullanıcının bir “bilgi ihtiyacını” karşılamak için bir model kullanmak istediği “bilgi yoğun” senaryolarda etkili olduğunu söylüyor – örneğin, geçen yıl Super Bowl’u kimin kazandığını bulmak. Bu senaryolarda, soruyu yanıtlayan belgenin soruyla aynı anahtar kelimelerin çoğunu içermesi muhtemeldir (örneğin, “Super Bowl,” “geçen yıl”), bu da anahtar kelime aramasıyla bulmayı nispeten kolaylaştırır.

Hangi belgelerin ilgili olabileceğini belirlemek bir yana, bir talebi yanıtlamak için gereken kavramları anahtar kelime tabanlı bir arama sorgusunda belirtmenin daha zor olduğu kodlama ve matematik gibi “akıl yürütme yoğun” görevlerde işler daha da zorlaşır.

Temel sorularda bile modeller, özellikle cevabın açık olmadığı uzun belgelerde, belgelerdeki alakasız içerik nedeniyle “dikkatleri dağılabilir”. Ya da – henüz bilinmeyen nedenlerle – parametrik belleklerine güvenmeyi tercih ederek, alınan belgelerin içeriğini görmezden gelebilirler.

RAG, geniş ölçekte uygulanması için gereken donanım açısından da pahalıdır.

Bunun nedeni, web’den, dahili bir veritabanından veya başka bir yerden alınan belgelerin, modelin bunlara geri dönebilmesi için en azından geçici olarak bellekte saklanması gerektiğidir. Bir başka harcama da, bir modelin yanıtını oluşturmadan önce işlemesi gereken artan bağlam için hesaplama yapmaktır. Temel işlemler için bile ihtiyaç duyduğu hesaplama ve elektrik miktarıyla zaten kötü şöhrete sahip bir teknoloji için bu ciddi bir değerlendirme anlamına gelir.

Bu, RAG’ın geliştirilemeyeceği anlamına gelmiyor. Wadden, RAG’den alınan belgeleri daha iyi kullanmak üzere modelleri eğitmek için devam eden birçok çabaya dikkat çekti.

Bu çabalardan bazıları, belgelerin ne zaman kullanılacağına “karar verebilen” modelleri ya da gereksiz gördükleri takdirde ilk etapta arama yapmamayı seçebilen modelleri içermektedir. Diğerleri ise devasa belge veri kümelerini daha verimli bir şekilde indekslemenin yollarına ve belgelerin daha iyi temsilleri – anahtar kelimelerin ötesine geçen temsiller – yoluyla aramayı iyileştirmeye odaklanmaktadır.

Wadden, “Anahtar kelimelere dayalı belgeleri almakta oldukça iyiyiz, ancak bir matematik problemini çözmek için gereken bir ispat tekniği gibi daha soyut kavramlara dayalı belgeleri almakta o kadar iyi değiliz” dedi. “Daha soyut üretim görevleri için ilgili belgeleri belirleyebilecek belge temsilleri ve arama teknikleri oluşturmak için araştırmaya ihtiyaç vardır. Bu noktada bunun çoğunlukla açık bir soru olduğunu düşünüyorum.”

Dolayısıyla RAG, bir modelin halüsinasyonlarını azaltmaya yardımcı olabilir – ancak yapay zekanın tüm halüsinasyon sorunlarına cevap değildir. Aksini iddia etmeye çalışan herhangi bir satıcıya karşı dikkatli olun.