Ekonomi
Basın Bülteni- AWS, yapay zekâ çıkarım süreçlerini hızlandıran yeni altyapı geliştirmelerini duyurdu
Kurumsal yapay zekâyı daha hızlı ve güvenilir hale getirmeyi hedefleyen şirket,
Project Mantle ile yüksek performanslı yapay zekâ için akıllı yönlendirme sunarken,
yeni nesil Trainium3 çipleriyle en zorlu iş yüklerinde bile yüzde 40'a varan
maliyet tasarrufu sağlamaya hazırlanıyor.
Amazon Web Services (AWS), yapay zekânın kullanıcı komutlarını anlık, akıllı yanıtlara
dönüştüren, saliselik çıkarım yapma (inference) sürecini hızlandırmak ve
optimize etmek için tasarlanan altyapı geliştirmelerini paylaştı.
Üretken yapay zekâ, deneysel modellerden devasa ölçekteki canlıya alma uygulamalarına
geçerken, çıkarım altyapısına yapılan yatırımlar eğitim harcamalarının önüne
geçti. AWS, bu talebi karşılamak için özel olarak geliştirilmiş, tam katmanlı
(full-stack) bir mimariyi hayata geçiriyor. Özel tasarım Trainium silikonunu,
birleşik bir ağ çerçevesini ve Project Mantle gibi akıllı yönlendirme teknolojilerini
bir araya getirerek kurumsal düzeydeki yapay zekâyı daha hızlı, daha dayanıklı
ve daha ekonomik hale getiriyor.
AWS Bilgi İşlem ve Makine Öğrenimi Hizmetlerinden Sorumlu Başkan Yardımcısı Dave
Brown, konuyla ilgili olarak şunları söyledi: Çıkarım, yeni bir bilgi işlem türü.
Kendine has ölçeklendirme kalıpları, kısıtlamaları ve gereksinimleri var.
Bu milisaniyelerin günde milyarlarca kez güvenilir bir şekilde gerçekleşmesini
sağlamak, karmaşık mimari sorunları en temelden çözmeyi gerektiriyor.
İki saniyelik yapay zekâ yanıtının arkasındaki gizli mekanizmalar
Bir üretken yapay zekâ asistanıyla etkileşime girmek, doğal dilde bir soru yazmak
kadar basit hissettirse de arka planda muazzam bir teknik orkestrasyon gerçekleşiyor.
MIT Technology Review verilerine göre yapay zekâya ayrılan tüm bilgi işlem
gücünün yüzde 80-90'ını çıkarım işlemleri oluşturuyor.
Amazon Bedrock platformu, iki saniyenin altında doğru bir yanıt sunabilmek için
oldukça yoğun, dört aşamalı bir teknik süreci otomatik olarak yönetiyor:
1. Adım 1: Tokenization (5-10 milisaniye): Kullanıcı komutu anında belirteçlere
(token), yani makine tarafından okunabilir metin parçalarına bölünüyor.
2. Adım 2: Prefill (10-100 milisaniye): Model, kesin bağlamı oluşturmak için komutun
tamamını milyarlarca parametre üzerinden değerlendiriyor ve üretim sürecine
rehberlik edecek özel bir anahtar-değer önbelleği oluşturuyor.
3. Adım 3: Decode (100-1.000+ milisaniye): Yapay zekâ, nihai yanıtını her seferinde
tek bir belirteç olacak şekilde inşa ediyor. Tahmin edilen her belirteç, geçmiş
bağlamın tamamından yararlanıyor ve bu da arka plandaki bilgi işlem gücünü
ve bellek bant genişliğini ciddi şekilde zorluyor.
4. Adım 4: Detokenization (Son milisaniyeler): Üretilen belirteçler sorunsuz bir
şekilde yeniden insan tarafından okunabilir metne dönüştürülüyor ve doğrudan kullanıcının
arayüzüne aktarılıyor.
Üretken Yapay Zekâ engelini aşmak
Yapay zekâ aracılarının hızlı yükselişine paralel olarak, optimize edilmiş çıkarım
altyapısına olan ihtiyaç da artıyor. Basit metin giriş-çıkış taleplerini işleyen
geleneksel üretken yapay zekâ uygulamalarının aksine, modern yapay zekâ aracıları
oldukça karmaşık ve çok adımlı iş akışlarını yürütmek için birbirine bağlı
birden fazla modeli koordine ediyor.
Çok kişili bir takvimi koordine etmek, restoranların doluluk durumunu analiz etmek
ve gerçek zamanlı inceleme verilerini sentezlemek gibi tek bir görev, ayrı ve
birbirine bağımlı bir çıkarım zinciri gerektiriyor. On adımlı bir zincirin tek
bir adımında bile altyapı hatası veya gecikme yaşanırsa, kullanıcı deneyimi olumsuz
etkileniyor. Geleneksel bulut ortamları ise, bu gelişmiş iş akışlarının
doğasında bulunan katlanarak artan maliyetleri, gecikmeleri ve güvenilirlik risklerini
yönetecek şekilde inşa edilmedi.
Project Mantle: Yüksek performanslı yapay zekâ için akıllı yönlendirme
AWS, bu çoklu model zorluklarını çözmek için Amazon Bedrock'ın performansını dört
temel yenilikle optimize eden gelişmiş bir çıkarım motoru olan Project Mantle'ı
geliştirdi. Akıllı Önceliklendirme, düşük gecikme süresini maliyet etkin bir
şekilde korumak için iş yüklerini öncelik seviyelerine göre eşleştiriyor. Özel
Kuyruğa Alma, kullanım dalgalanmalarının diğer kullanıcıları etkilemesini önlemek
için müşteri iş yüklerini izole ediyor. Kesintisiz Kontrol Noktaları (Journal),
olası bir kesinti sonrası bilgi işlem gücünü boşa harcamadan sorunsuz bir
şekilde devam etmek için istek durumlarını otomatik olarak kaydediyor ve Birleşik
Ağ Mimarisi ise makine öğrenimi ağlarını birleştirerek hata noktalarını ortadan
kaldırıyor ve yanıt sürelerini hızlandırıyor.
Özel Silikon, yapay zekânın maliyetini düşürüyor
Kurumsal yapay zekânın ekonomik olarak sürdürülebilir olması, büyük ölçüde bireysel
çıkarım başına düşen maliyetin azaltılmasına bağlı olduğundan AWS, donanım
verimliliğinin katlanarak artan küresel talebe yanıt verebilmesi için özel silikon
yol haritasını büyütmeye devam ediyor. Şu anda Amazon Bedrock'ın belirteç kullanımının
büyük bir kısmı, AWS'in özel tasarımı olan Trainium çipleri üzerinde
çalışıyor. Geleceğe bakıldığında ise yeni nesil özel silikonlar, yüksek talebe
sahip kurumsal ortamlar için çok daha büyük bir ekonomik rahatlama sağlayacak.
Trainium3'ün en zorlu iş yüklerinde bile yüzde 40'a varan maliyet tasarrufu sağlayacağı
öngörülüyor. Genel Pazar talebi ve belirteç hacimlerinin katlanarak artmasıyla
bireysel çıkarım başına maliyetin düşmeye devam edeceğini öngören AWS,
silikondan daha akıllı ağ protokollerine kadar teknoloji yığınının her katmanını
optimize ederek kurumların yüksek kârlılığa sahip ve şirket genelinde kullanılabilecek
yapay zekâ uygulamaları geliştirmesini sağlıyor.
-iDeal Haber Merkezi-
- twitter.com/iDealDataHaber // www.idealdata.com.tr -
Project Mantle ile yüksek performanslı yapay zekâ için akıllı yönlendirme sunarken,
yeni nesil Trainium3 çipleriyle en zorlu iş yüklerinde bile yüzde 40'a varan
maliyet tasarrufu sağlamaya hazırlanıyor.
Amazon Web Services (AWS), yapay zekânın kullanıcı komutlarını anlık, akıllı yanıtlara
dönüştüren, saliselik çıkarım yapma (inference) sürecini hızlandırmak ve
optimize etmek için tasarlanan altyapı geliştirmelerini paylaştı.
Üretken yapay zekâ, deneysel modellerden devasa ölçekteki canlıya alma uygulamalarına
geçerken, çıkarım altyapısına yapılan yatırımlar eğitim harcamalarının önüne
geçti. AWS, bu talebi karşılamak için özel olarak geliştirilmiş, tam katmanlı
(full-stack) bir mimariyi hayata geçiriyor. Özel tasarım Trainium silikonunu,
birleşik bir ağ çerçevesini ve Project Mantle gibi akıllı yönlendirme teknolojilerini
bir araya getirerek kurumsal düzeydeki yapay zekâyı daha hızlı, daha dayanıklı
ve daha ekonomik hale getiriyor.
AWS Bilgi İşlem ve Makine Öğrenimi Hizmetlerinden Sorumlu Başkan Yardımcısı Dave
Brown, konuyla ilgili olarak şunları söyledi: Çıkarım, yeni bir bilgi işlem türü.
Kendine has ölçeklendirme kalıpları, kısıtlamaları ve gereksinimleri var.
Bu milisaniyelerin günde milyarlarca kez güvenilir bir şekilde gerçekleşmesini
sağlamak, karmaşık mimari sorunları en temelden çözmeyi gerektiriyor.
İki saniyelik yapay zekâ yanıtının arkasındaki gizli mekanizmalar
Bir üretken yapay zekâ asistanıyla etkileşime girmek, doğal dilde bir soru yazmak
kadar basit hissettirse de arka planda muazzam bir teknik orkestrasyon gerçekleşiyor.
MIT Technology Review verilerine göre yapay zekâya ayrılan tüm bilgi işlem
gücünün yüzde 80-90'ını çıkarım işlemleri oluşturuyor.
Amazon Bedrock platformu, iki saniyenin altında doğru bir yanıt sunabilmek için
oldukça yoğun, dört aşamalı bir teknik süreci otomatik olarak yönetiyor:
1. Adım 1: Tokenization (5-10 milisaniye): Kullanıcı komutu anında belirteçlere
(token), yani makine tarafından okunabilir metin parçalarına bölünüyor.
2. Adım 2: Prefill (10-100 milisaniye): Model, kesin bağlamı oluşturmak için komutun
tamamını milyarlarca parametre üzerinden değerlendiriyor ve üretim sürecine
rehberlik edecek özel bir anahtar-değer önbelleği oluşturuyor.
3. Adım 3: Decode (100-1.000+ milisaniye): Yapay zekâ, nihai yanıtını her seferinde
tek bir belirteç olacak şekilde inşa ediyor. Tahmin edilen her belirteç, geçmiş
bağlamın tamamından yararlanıyor ve bu da arka plandaki bilgi işlem gücünü
ve bellek bant genişliğini ciddi şekilde zorluyor.
4. Adım 4: Detokenization (Son milisaniyeler): Üretilen belirteçler sorunsuz bir
şekilde yeniden insan tarafından okunabilir metne dönüştürülüyor ve doğrudan kullanıcının
arayüzüne aktarılıyor.
Üretken Yapay Zekâ engelini aşmak
Yapay zekâ aracılarının hızlı yükselişine paralel olarak, optimize edilmiş çıkarım
altyapısına olan ihtiyaç da artıyor. Basit metin giriş-çıkış taleplerini işleyen
geleneksel üretken yapay zekâ uygulamalarının aksine, modern yapay zekâ aracıları
oldukça karmaşık ve çok adımlı iş akışlarını yürütmek için birbirine bağlı
birden fazla modeli koordine ediyor.
Çok kişili bir takvimi koordine etmek, restoranların doluluk durumunu analiz etmek
ve gerçek zamanlı inceleme verilerini sentezlemek gibi tek bir görev, ayrı ve
birbirine bağımlı bir çıkarım zinciri gerektiriyor. On adımlı bir zincirin tek
bir adımında bile altyapı hatası veya gecikme yaşanırsa, kullanıcı deneyimi olumsuz
etkileniyor. Geleneksel bulut ortamları ise, bu gelişmiş iş akışlarının
doğasında bulunan katlanarak artan maliyetleri, gecikmeleri ve güvenilirlik risklerini
yönetecek şekilde inşa edilmedi.
Project Mantle: Yüksek performanslı yapay zekâ için akıllı yönlendirme
AWS, bu çoklu model zorluklarını çözmek için Amazon Bedrock'ın performansını dört
temel yenilikle optimize eden gelişmiş bir çıkarım motoru olan Project Mantle'ı
geliştirdi. Akıllı Önceliklendirme, düşük gecikme süresini maliyet etkin bir
şekilde korumak için iş yüklerini öncelik seviyelerine göre eşleştiriyor. Özel
Kuyruğa Alma, kullanım dalgalanmalarının diğer kullanıcıları etkilemesini önlemek
için müşteri iş yüklerini izole ediyor. Kesintisiz Kontrol Noktaları (Journal),
olası bir kesinti sonrası bilgi işlem gücünü boşa harcamadan sorunsuz bir
şekilde devam etmek için istek durumlarını otomatik olarak kaydediyor ve Birleşik
Ağ Mimarisi ise makine öğrenimi ağlarını birleştirerek hata noktalarını ortadan
kaldırıyor ve yanıt sürelerini hızlandırıyor.
Özel Silikon, yapay zekânın maliyetini düşürüyor
Kurumsal yapay zekânın ekonomik olarak sürdürülebilir olması, büyük ölçüde bireysel
çıkarım başına düşen maliyetin azaltılmasına bağlı olduğundan AWS, donanım
verimliliğinin katlanarak artan küresel talebe yanıt verebilmesi için özel silikon
yol haritasını büyütmeye devam ediyor. Şu anda Amazon Bedrock'ın belirteç kullanımının
büyük bir kısmı, AWS'in özel tasarımı olan Trainium çipleri üzerinde
çalışıyor. Geleceğe bakıldığında ise yeni nesil özel silikonlar, yüksek talebe
sahip kurumsal ortamlar için çok daha büyük bir ekonomik rahatlama sağlayacak.
Trainium3'ün en zorlu iş yüklerinde bile yüzde 40'a varan maliyet tasarrufu sağlayacağı
öngörülüyor. Genel Pazar talebi ve belirteç hacimlerinin katlanarak artmasıyla
bireysel çıkarım başına maliyetin düşmeye devam edeceğini öngören AWS,
silikondan daha akıllı ağ protokollerine kadar teknoloji yığınının her katmanını
optimize ederek kurumların yüksek kârlılığa sahip ve şirket genelinde kullanılabilecek
yapay zekâ uygulamaları geliştirmesini sağlıyor.
-iDeal Haber Merkezi-
- twitter.com/iDealDataHaber // www.idealdata.com.tr -