Tether'in açık kaynaklı TurboQuant çözümü, yapay zekâ uygulamalarının ihtiyaç duyduğu
belleği önemli ölçüde azaltarak dizüstü bilgisayarlar, akıllı telefonlar
ve diğer cihazların daha uzun sohbetleri, büyük dosyaları ve karmaşık görevleri
bulut desteği olmadan çalıştırabilmesini sağlıyor.

Tether AI Araştırma Grubu, bugün Google Research tarafından geliştirilen TurboQuant
bellek sıkıştırma algoritmasının açık kaynaklı sürümünü kullanıma sunduğunu
duyurdu. Büyük yapay zekâ modellerinin ihtiyaç duyduğu belleği önemli ölçüde azaltmasıyla
dikkat çeken TurboQuant, teknoloji dünyasında bir dönem Silicon Valley
dizisindeki Pied Piper teknolojisine benzetilmişti. Google'ın araştırma
aşamasında geliştirdiği bu teknoloji, Tether'in yerel ve uç cihazlarda çalışan
açık kaynaklı yapay zekâ altyapısı QVAC Fabric ile gerçek kullanım senaryolarına
taşınıyor.

İlk olarak llama.cpp projesi olarak başlayan QVAC Fabric, zaman içinde yerel cihazlarda
çalışan yapay zekânın sınırlarını genişleten çeşitli teknolojilerle geliştirildi.
Yeni sürümle birlikte TurboQuant artık geliştiricilerin kullanabileceği,
test edebileceği ve farklı sistemlere uyarlayabileceği açık kaynaklı bir çözüm
haline geliyor.

Yapay zekâ uygulamalarındaki en büyük sorunlardan biri çözülüyor
Yeni sürüm, tam bir optimizasyon altyapısı, yaygın yapay zekâ çalışma çerçeveleriyle
uyumlu entegrasyonlar, geliştirici dokümantasyonu ve gerçek kullanım senaryolarına
uygun yapılandırmalar içeriyor. Böylece teknoloji yalnızca büyük veri
merkezlerinde değil, dizüstü bilgisayarlar, mobil cihazlar, tüketici sınıfı ekran
kartları, uç cihazlar ve merkeziyetsiz ağlarda da kullanılabilecek.

Yapay zekâ uygulamalarında en önemli maliyetlerden biri, modelin çalışırken ihtiyaç
duyduğu bellek kapasitesi olarak öne çıkıyor. Bir yapay zekâ asistanı yalnızca
modeli yüklemek için değil, aynı zamanda daha önce gördüğü konuşmaları, belgeleri,
kodları ve talimatları hatırlayabilmek için de ek belleğe ihtiyaç duyuyor.
KV Cache olarak adlandırılan bu çalışma belleği, oturum uzadıkça büyüyor.

Kısa komutlar genellikle sorun yaratmasa da yüzlerce sayfalık sözleşmeler, araştırma
raporları, kitaplar, yazılım depoları veya saatler süren görüşmeler mevcut
cihazların bellek sınırlarını zorlayabiliyor. Yaklaşık 262 bin token seviyesinde,
yani birkaç yüz sayfalık metin veya saatler süren konuşma hacminde, yalnızca
KV Cache yaklaşık 8 GB bellek kullanabiliyor. Aynı büyüklükte dört ayrı oturum
ise modelin ihtiyaç duyduğu bellek hariç yaklaşık 32 GB kapasite gerektiriyor.
Bu nedenle birçok yapay zekâ uygulaması hâlâ uzak veri merkezlerine bağımlı çalışıyor.

Daha uzun konuşmalar ve daha büyük dosyalar cihaz üzerinde işlenebilecek
TurboQuant, KV Cache belleğini beş kata kadar sıkıştırırken model performansını
büyük ölçüde koruyor. Bu sayede kullanıcılar sahip oldukları mevcut donanımlarla
daha uzun sohbetler gerçekleştirebiliyor, daha büyük dosyaları analiz edebiliyor
ve daha fazla bağlam gerektiren görevleri yerel olarak çalıştırabiliyor. Bu
teknoloji sayesinde bir kullanıcı, yüzlerce sayfalık bir hukuki belgeyi buluta
yüklemeden dizüstü bilgisayarındaki yapay zekâ asistanına analiz ettirebilecek.
Öğrenciler uzun çalışma oturumlarının tamamını hatırlayan kişisel eğitim asistanları
kullanabilecek. Yazılım geliştiriciler ise daha büyük kod tabanlarını anlayabilen
yerel kodlama asistanlarından yararlanabilecek. Gazeteciler, doktorlar,
araştırmacılar ve küçük işletmeler de hassas dosyalarını cihaz dışına çıkarmadan
yapay zekâ desteği alabilecek.

TurboQuant yerel yapay zekânın bellek sorununu azaltıyor
Tether CEO'su Paolo Ardoino konuya ilişkin yaptığı açıklamada, Google'ın araştırması,
yapay zekâ belleğinin sanılandan çok daha verimli şekilde sıkıştırılabileceğini
gösterdi. Biz de bu teknolojiyi geliştiricilerin, girişimlerin ve kullanıcıların
doğrudan faydalanabileceği üretim ortamlarına taşıyoruz. Uzun bağlamlı
yapay zekâ yalnızca dünyanın en büyük veri merkezlerinde çalışabiliyorsa, yapay
zekânın geleceğini de en fazla donanıma sahip şirketler belirler. TurboQuant
ise yerel yapay zekânın önündeki en büyük engellerden biri olan bellek sorununu
azaltıyor dedi.

Ardoino sözlerini şöyle sürdürdü: İnsanlar yapay zekâ asistanlarından uzun belgeleri
okumasını, projeleri hatırlamasını, kod yazmasına yardımcı olmasını veya
hassas bilgiler üzerinde çalışmasını isteyebilmeli. Üstelik bunu her seferinde
uzak veri merkezlerine bağımlı olmadan yapabilmeli. TurboQuant'ın gerçek kullanıma
sunulması tam olarak bunu mümkün kılıyor. Yerel yapay zekâya daha fazla bellek,
daha fazla bağlam ve günlük yaşamda daha faydalı olabilmesi için daha fazla
alan kazandırıyor.


-iDeal Haber Merkezi-
- twitter.com/iDealDataHaber // www.idealdata.com.tr -