Microsoft ve Nvidia, Dünyanın İlk “Süper Bilgisayar Ölçeğinde” GB300 NVL72 Azure Kümesini Devreye Aldı

Microsoft, Azure bulut platformunu Nvidia’nın yeni Blackwell Ultra teknolojisiyle güçlendirerek, dünyanın ilk büyük ölçekli GB300 NVL72 süper bilgisayar kümesini devreye aldığını duyurdu. Şirketin açıklamasına göre bu sistem, NVLink 5 anahtarlama altyapısı ile birbirine bağlı 4.608 adet GB300 GPU’yu içeriyor. Her bir NVL72 rafı, 72 Blackwell GPU ve 36 Grace CPU barındırıyor; toplamda 2.592 Arm çekirdeği içeren bu yapı, 64 adet GB300 NVL72 sistemi ile birleşerek tek ve birleşik bir hızlandırıcı haline geliyor. Tüm küme, Nvidia’nın Quantum-X800 InfiniBand ağı üzerinden birbirine bağlanıyor. Söz konusu yapı sayesinde tek bir NVL72 rafı 130 TB/s bellek bant genişliği ve GPU başına 800 Gb/s bağlantı hızı sağlıyor.

Microsoft, bu yeni kümenin OpenAI iş yüklerine özel olarak tahsis edileceğini açıkladı. Şirket, kümenin ileri düzey akıl yürütme modellerini çok daha yüksek hızda çalıştıracağını ve model eğitimini “aylar yerine haftalar içinde” tamamlamayı mümkün kılacağını belirtti. Böylece, Nvidia’nın Grace Blackwell GB300 mimarisi için önemli bir dönüm noktası daha kaydedilmiş oldu.

Raf düzeyinde her NVL72 sistemi 1.440 petaflop FP4 Tensör performansı sunuyor ve toplamda 37 terabayt birleşik “hızlı bellek” kapasitesine sahip. Bu bellek yapısı, 20 TB HBM3E GPU belleği ile 17 TB LPDDR5X Grace CPU belleğini birleştiriyor. NVLink 5 bağlantısı, iki bellek alanını tek bir birleşik bellek havuzu haline getirerek sistemin 130 TB/s doğrudan bant genişliğine ulaşmasını sağlıyor. Nvidia, GB300 NVL72’nin en etkileyici yanlarından birinin bellek aktarım hızı olduğunu vurguluyor.

Quantum-X800 InfiniBand platformu, 4.608 GPU’nun birbirine 800 Gb/s raflar arası bağlantı ile bağlanmasını sağlıyor. Böylece her bir GPU, hem kendi rafındaki hem de diğer raflardaki tüm GPU’larla doğrudan iletişim kurabiliyor. Sistem, yoğun iş yüklerinde su kullanımını minimumda tutmak için bağımsız ısı değiştiriciler ve özel soğutma döngüleriyle sıvı soğutmalı olarak tasarlandı. Nvidia, Microsoft’un devreye alma süreci için veri merkezinin her katmanını yeniden tasarladığını belirtti. Microsoft ise bunun yalnızca başlangıç olduğunu, GB300 altyapısının küresel ölçekte yayılacak ilk kümesi olduğunu ve zamanla hiper ölçekli kapasiteye ulaşacağını ifade etti.

OpenAI ve Microsoft, halihazırda model eğitimi için GB200 kümelerini kullanıyor. Dolayısıyla GB300 NVL72 kümesi, iki şirket arasındaki özel ortaklığın doğal bir uzantısı olarak görülüyor. Nvidia, OpenAI ile 100 milyar dolarlık stratejik yatırım anlaşması (Letter of Intent) imzaladı. Anlaşmaya göre, OpenAI yeni nesil yapay zeka altyapısında Nvidia GPU’larını kullanacak ve toplamda 10 gigawatt (GW) hızlandırıcı kapasitesi konuşlandırılacak. İlk aşama olarak Vera Rubin veri merkezinin gelecek yıl devreye alınması planlanıyor.

Dolayısıyla Microsoft’un devreye aldığı GB300 NVL72 süper kümesi, hem OpenAI’nin gelecek yapay zeka altyapısının öncülü hem de Nvidia’nın Blackwell mimarisine dayalı küresel yatırımının somutlaşan ilk adımı olarak öne çıkıyor.

‍

‍

‍

‍

Kaynak: https://www.tomshardware.com/tech-industry/artificial-intelligence/microsoft-deploys-worlds-first-supercomputer-scale-gb300-nvl72-azure-cluster-4-608-gb300-gpus-linked-together-to-form-a-single-unified-accelerator-capable-of-1-44-pflops-of-inference