Ekonomi
Tether, BitNet için geliştirdiği LoRA ile yapay zekâ eğitimini daha hızlı ve düşük maliyetli hale getirdi
Tether, Microsoft'un 1 bitlik BitNet modelleri için geliştirdiği çapraz platform
LoRA ince ayar teknolojisiyle yapay zekâ model eğitimini daha hızlı, düşük maliyetli
ve erişilebilir hale getiren yeni bir adım attı.
Tether, yapay zekâ model eğitimini daha erişilebilir hale getiren yeni bir teknoloji
açıkladı. Microsoft'un 1 bitlik BitNet mimarisi üzerine geliştirilen ve QVAC
Fabric kapsamında sunulan bu çapraz platform LoRA ince ayar çerçevesi, bellek
ve işlem maliyetlerini ciddi ölçüde düşürerek milyar parametreli dil modellerinin
dizüstü bilgisayarlar, tüketici GPU'ları ve hatta akıllı telefonlar üzerinde
çalıştırılmasını mümkün kılıyor.
Geleneksel olarak yalnızca yüksek maliyetli kurumsal donanım ve bulut altyapılarıyla
yapılabilen yapay zekâ model geliştirme süreçleri, bu yenilikle birlikte çok
daha geniş bir kullanıcı kitlesine açılıyor. Intel, AMD ve Apple Silicon gibi
farklı donanımlar üzerinde çalışabilen yapı, kullanıcıların modelleri doğrudan
kendi cihazlarında eğitip özelleştirmesine imkân tanıyor.
Tether'in mühendislik ekibinin bu çalışması, Adreno, Mali ve Apple Bionic GPU'lar
dahil olmak üzere mobil GPU'larda BitNet ince ayarının ilk başarılı gösterimlerinden
biri olarak öne çıkıyor. Kullanıcılar, 125 milyon parametreli BitNet modellerine
yaklaşık 300 belgelik, yani yaklaşık 18 bin tokenlik biyomedikal bir
veri setiyle bir Samsung S25 Adreno GPU üzerinde yaklaşık 10 dakikada ince ayar
yapabiliyor. 1 milyar parametreli model için aynı veri setinin ince ayarı Samsung
S25'te 1 saat 18 dakika, iPhone 16'da ise 1 saat 45 dakika sürüyor. Ekip, cihazların
sınırlarını zorlayarak iPhone 16'da 13 milyar parametreye kadar modellere
ince ayar yapmayı da başardı.
Çerçeve, uç cihazlarda Q4 BitNet olmayan modellere kıyasla 2 kat daha büyük modellere
ince ayar yapılabildiğini de gösteriyor. Bu da BitNet mimarisinin sunduğu
bellek avantajını net şekilde ortaya koyuyor.
BitNet'in çıkarım performansı da QVAC Fabric ile birlikte önemli ölçüde artıyor.
Model ailesi mobil GPU'larda çok daha hızlı çalışıyor. Bu cihazlarda GPU performansının
CPU'ya kıyasla 2 ila 11 kat daha yüksek olduğu görülüyor. Bu da günümüz
mobil GPU'larının, daha önce yalnızca pahalı özel donanımlar veya veri merkezleriyle
mümkün olan iş yüklerini destekleyebileceğini ortaya koyuyor.
Bellek tarafında da dikkat çekici bir tablo var. Yapılan karşılaştırmalı testlere
göre BitNet-1B TQ1_0 modeli, hem çıkarım hem de LoRA ince ayar süreçlerinde Gemma-3-1B
16 bit modele göre yüzde 77,8'e kadar, Qwen3-0.6B 16 bit modele göre
ise yüzde 65,6'ya kadar daha az VRAM kullanıyor. Bu tasarruf, daha büyük modellerin
ve kişiselleştirme süreçlerinin, kısa süre öncesine kadar yetersiz kabul edilen
donanımlarda bile çalıştırılabilmesini sağlıyor.
Öte yandan çerçeve, NVIDIA dışındaki donanımlarda 1 bitlik büyük dil modelleri için
LoRA ince ayarına olanak tanıyarak desteği AMD, Intel, Apple Silicon ve mobil
GPU'lara kadar genişletiyor. Böylece özel donanıma ve bulut sağlayıcılarına
bağımlılık azalırken, hassas veriler cihaz üzerinde yerel olarak tutulabiliyor.
Bu yaklaşım, federe öğrenme gibi yöntemleri de daha erişilebilir hale getirerek,
verilerin merkezi sistemlere taşınmadan cihazlar arasında eğitilip paylaşılabilmesine
imkân tanıyor.
Stabil Zekâ çağı yeni başladı
Tether CEO'su Paolo Ardoino konuyla ilgili olarak şunları söyledi:
Zekâ, toplumun geleceğinde temel bir belirleyici faktör olacaktır. Toplumun istikrarını
iyileştirme, bağ dokusu olarak hizmet etme veya azınlığı daha da güçlendirme
potansiyeline sahiptir. Yapay zekânın geleceği, her yerdeki insanlar ve
geliştiriciler için erişilebilir, kullanılabilir ve açık olmalıdır, yalnızca bir
avuç bulut sağlayıcısının erişebileceği absürt miktarda kaynak gerektirmemelidir.
Büyük dil modellerinin eğitimi merkezi altyapıya bağlı olduğunda inovasyon
durgunlaşır, ekosistem kırılganlaşır ve toplumsal denge riske girer. Akıllı telefonlar
dahil olmak üzere tüketici donanımlarında anlamlı büyük model eğitimini
mümkün kılan Tether'in QVAC'ı, gelişmiş yapay zekânın herkes için merkeziyetsiz,
kapsayıcı ve güçlendirici olabileceğini gösteriyor. Tether olarak, yapay zekânın
herkes için, her yerde ve cihaz üzerinde yerel olarak erişilebilir olması
için önümüzdeki dönemde de önemli kaynak ve yatırım ayırmayı sürdüreceğiz. Stabil
Zekâ çağı yeni başladı.
Makale, adaptörler, karşılaştırmalı testler ve çapraz platform ikili dosyalar dahil
olmak üzere tüm teknik detaylarıyla Hugging Face blogunda QVAC Fabric Aracılığıyla
Heterojen Uç GPU'larda LoRA İnce Ayarlı BitNet b1.58 Büyük Dil Modelleri
başlığıyla yer alıyor.
-iDeal Haber Merkezi-
- twitter.com/iDealDataHaber // www.idealdata.com.tr -
LoRA ince ayar teknolojisiyle yapay zekâ model eğitimini daha hızlı, düşük maliyetli
ve erişilebilir hale getiren yeni bir adım attı.
Tether, yapay zekâ model eğitimini daha erişilebilir hale getiren yeni bir teknoloji
açıkladı. Microsoft'un 1 bitlik BitNet mimarisi üzerine geliştirilen ve QVAC
Fabric kapsamında sunulan bu çapraz platform LoRA ince ayar çerçevesi, bellek
ve işlem maliyetlerini ciddi ölçüde düşürerek milyar parametreli dil modellerinin
dizüstü bilgisayarlar, tüketici GPU'ları ve hatta akıllı telefonlar üzerinde
çalıştırılmasını mümkün kılıyor.
Geleneksel olarak yalnızca yüksek maliyetli kurumsal donanım ve bulut altyapılarıyla
yapılabilen yapay zekâ model geliştirme süreçleri, bu yenilikle birlikte çok
daha geniş bir kullanıcı kitlesine açılıyor. Intel, AMD ve Apple Silicon gibi
farklı donanımlar üzerinde çalışabilen yapı, kullanıcıların modelleri doğrudan
kendi cihazlarında eğitip özelleştirmesine imkân tanıyor.
Tether'in mühendislik ekibinin bu çalışması, Adreno, Mali ve Apple Bionic GPU'lar
dahil olmak üzere mobil GPU'larda BitNet ince ayarının ilk başarılı gösterimlerinden
biri olarak öne çıkıyor. Kullanıcılar, 125 milyon parametreli BitNet modellerine
yaklaşık 300 belgelik, yani yaklaşık 18 bin tokenlik biyomedikal bir
veri setiyle bir Samsung S25 Adreno GPU üzerinde yaklaşık 10 dakikada ince ayar
yapabiliyor. 1 milyar parametreli model için aynı veri setinin ince ayarı Samsung
S25'te 1 saat 18 dakika, iPhone 16'da ise 1 saat 45 dakika sürüyor. Ekip, cihazların
sınırlarını zorlayarak iPhone 16'da 13 milyar parametreye kadar modellere
ince ayar yapmayı da başardı.
Çerçeve, uç cihazlarda Q4 BitNet olmayan modellere kıyasla 2 kat daha büyük modellere
ince ayar yapılabildiğini de gösteriyor. Bu da BitNet mimarisinin sunduğu
bellek avantajını net şekilde ortaya koyuyor.
BitNet'in çıkarım performansı da QVAC Fabric ile birlikte önemli ölçüde artıyor.
Model ailesi mobil GPU'larda çok daha hızlı çalışıyor. Bu cihazlarda GPU performansının
CPU'ya kıyasla 2 ila 11 kat daha yüksek olduğu görülüyor. Bu da günümüz
mobil GPU'larının, daha önce yalnızca pahalı özel donanımlar veya veri merkezleriyle
mümkün olan iş yüklerini destekleyebileceğini ortaya koyuyor.
Bellek tarafında da dikkat çekici bir tablo var. Yapılan karşılaştırmalı testlere
göre BitNet-1B TQ1_0 modeli, hem çıkarım hem de LoRA ince ayar süreçlerinde Gemma-3-1B
16 bit modele göre yüzde 77,8'e kadar, Qwen3-0.6B 16 bit modele göre
ise yüzde 65,6'ya kadar daha az VRAM kullanıyor. Bu tasarruf, daha büyük modellerin
ve kişiselleştirme süreçlerinin, kısa süre öncesine kadar yetersiz kabul edilen
donanımlarda bile çalıştırılabilmesini sağlıyor.
Öte yandan çerçeve, NVIDIA dışındaki donanımlarda 1 bitlik büyük dil modelleri için
LoRA ince ayarına olanak tanıyarak desteği AMD, Intel, Apple Silicon ve mobil
GPU'lara kadar genişletiyor. Böylece özel donanıma ve bulut sağlayıcılarına
bağımlılık azalırken, hassas veriler cihaz üzerinde yerel olarak tutulabiliyor.
Bu yaklaşım, federe öğrenme gibi yöntemleri de daha erişilebilir hale getirerek,
verilerin merkezi sistemlere taşınmadan cihazlar arasında eğitilip paylaşılabilmesine
imkân tanıyor.
Stabil Zekâ çağı yeni başladı
Tether CEO'su Paolo Ardoino konuyla ilgili olarak şunları söyledi:
Zekâ, toplumun geleceğinde temel bir belirleyici faktör olacaktır. Toplumun istikrarını
iyileştirme, bağ dokusu olarak hizmet etme veya azınlığı daha da güçlendirme
potansiyeline sahiptir. Yapay zekânın geleceği, her yerdeki insanlar ve
geliştiriciler için erişilebilir, kullanılabilir ve açık olmalıdır, yalnızca bir
avuç bulut sağlayıcısının erişebileceği absürt miktarda kaynak gerektirmemelidir.
Büyük dil modellerinin eğitimi merkezi altyapıya bağlı olduğunda inovasyon
durgunlaşır, ekosistem kırılganlaşır ve toplumsal denge riske girer. Akıllı telefonlar
dahil olmak üzere tüketici donanımlarında anlamlı büyük model eğitimini
mümkün kılan Tether'in QVAC'ı, gelişmiş yapay zekânın herkes için merkeziyetsiz,
kapsayıcı ve güçlendirici olabileceğini gösteriyor. Tether olarak, yapay zekânın
herkes için, her yerde ve cihaz üzerinde yerel olarak erişilebilir olması
için önümüzdeki dönemde de önemli kaynak ve yatırım ayırmayı sürdüreceğiz. Stabil
Zekâ çağı yeni başladı.
Makale, adaptörler, karşılaştırmalı testler ve çapraz platform ikili dosyalar dahil
olmak üzere tüm teknik detaylarıyla Hugging Face blogunda QVAC Fabric Aracılığıyla
Heterojen Uç GPU'larda LoRA İnce Ayarlı BitNet b1.58 Büyük Dil Modelleri
başlığıyla yer alıyor.
-iDeal Haber Merkezi-
- twitter.com/iDealDataHaber // www.idealdata.com.tr -