Google, 11 Kasım'da iki yeni TPU (Tensor Processing Unit) çipini duyurdu: TPU 8tx ve TPU 8i Max. Şirketin açıklamasına göre, bu hamle bir yıl içinde dört TPU sisteminin tanıtılmasının ilk örneğidir.
Güvenli çıkarım için TPU 8tx
TPU 8tx, "güvenli ve gizli çıkarım" (secure and confidential inference) için optimize edilmiş bir sistem. Donanım düzeyinde güvenlik sağlayan bu çip, verilerin işlenme süresi dahil her aşamada şifreli ve izole kalmalarını garanti ediyor. Diskte veya ağ üzerinde değil, aktif işlem sırasında bile veri koruması sağlıyor.
TPU 8t silikonundan kurulu olan TPU 8tx, AMD EPYC 5. Nesil CPU'larla eşleştiriliyor ve düşük-gecikme Boardfly ağını kullanarak TPU 8t'ye kıyasla 2x daha düşük gecikme sağlıyor (neredeyse sıfır performans cezası ile). Google'ın daha önceki TPU 8t modeli, önceki nesile kıyasla 2,7 kat daha iyi eğitim performansı sağlamıştı. Sistem üzerinde aynı anda model ince ayarı, büyük modelleri daha küçüklere damıtma ve pekiştirmeli öğrenme ile ajanları eğitme gibi işlemler yapılabiliyor ve işlenen veriler taşınmak zorunda kalmıyor. Devletlerin sektörel kısıtlamalar koyduğu veya hastaneler, finansal kurumlar gibi hassas verilerle çalışan kuruluşlar hedef pazardır. Agent Compute Engine özelliği ile boşta geçen oturumlar otomatik olarak askıya alınıyor ve devam ettiriliyor, böylece saniyelerden saatlere kadar değişen işlerin yönetimi kolaylaşıyor.
Yüksek bağlam için TPU 8i Max
TPU 8i Max, iki TPU 8i çipinin tek pakete birleştirilmiş hali. Bilgisayar gücü, hafıza (SRAM) ve HBM bant genişliği TPU 8i'ye kıyasla iki kat artıyor. Google'ın önceki TPU 8i modeli, bir önceki nesile kıyasla yüzde 80 daha iyi çıkarsama fiyat-performansı sağlamıştı. Mevcut veri merkezi rack alanında iki kat daha fazla silikon sağlıyor ve kare başına ve watt başına önemli ölçüde daha fazla bilgisayar gücü getiriyor. İnferenceX ve AgentX benchmark'larında vLLM ve TorchTPU bileşimi ile en yüksek fiyat-performans sonuçlarını sağlıyor.
Sistem, milyonluk token'lık bağlam pencerelerine, çoklu yapay zekâ ajanlarına ve saatlerce video işlemeye uygun. PyTorch, Hugging Face modelleri, vLLM ve SGLang gibi açık kaynak çerçevelere doğrudan destek sunuyor. TPU agent suite (açık kaynak) aracılığıyla Claude Code, Cursor ve Google Antigravity gibi kodlama platformlarına entegre olarak geliştirici iş akışlarını hızlandırıyor. Cloud Pathways yazılımı (GA) ile tek-denetleyici mimarisi sayesinde birden fazla dilim üzerinde büyük ölçekli TPU sistemlerini orkestre edebiliyor ve alt-dakika hot-swap (etkin değişim) ile dinamik yeniden şekillendirme sağlıyor. GKE Dynamic Slicing, iş başlatma sürelerini 5 kata kadar hızlandırırken hata kurtarmasını 4,5 kat hızlandırıyor. TPU Sync yazılımı ise KV transfer gecikmesini ve Time to First Token (TTFT) gecikmesini yüzde 90'dan fazla azaltıyor. Optik Devre Anahtarlaması (OCS) teknolojisi sayesinde TPU kümeleri dinamik olarak daha büyük ve daha küçük dilimler halinde yeniden yapılandırılabiliyor.