Microsoft Bulma Süper Bilgisayarı

Microsoft Discovery hizmeti, aracı yapay zekayı, verileri ve yüksek performanslı bilgi işlemi (HPC) tek bir araştırma platformuyla tümleştirir. Microsoft Bulma Süper Bilgisayarı bu platformun HPC katmanını sağlar. Supercomputer, düğüm havuzlarıyla birlikte Discovery aracıları ve insan kullanıcılar adına simülasyonlar, büyük ölçekli veri işleme ve işlem yoğunluklu diğer iş yükleri çalıştırır.

Genel bakış

Microsoft Discovery Supercomputer, CPU'lar ve GPU'lar dahil olmak üzere birden çok mimaride binlerce çekirdeği kapsayan Microsoft HPC kaynaklarına erişim sağlar. Düğüm havuzları, bu kaynakları gruplandırarak iş yüklerinin iş yükü gereksinimlerine uygun donanım üzerinde zamanlanabilmesini sağlar. Bulma aracıları, uygun bir düğüm havuzunu seçip yürütmeyi yöneten Supercomputer'e iş yükleri gönderir.

Önemli özellikler

• Paralel yürütme. Süper bilgisayar iş yüklerini eşzamanlı olarak yapılandırılabilir bir sınıra kadar çalıştırır. Sonraki işler, kapasite müsait oldukça kuyruğa alınır ve işleme gönderilir.
• Kurumsal güvenlik ve uyumluluk. Tüm işler Azure kiracınızda çalışır ve mevcut uyumluluk ve güvenlik denetimlerinizi devralır. Kaynak veriler, modeller ve ara sonuçlar aboneliğinizde kalır.
• Elastik kapasite. Kaynaklar, birkaç eşzamanlı işten on binlerceye kadar tanımladığınız sınırlar içinde isteğe bağlı olarak ölçeklendirilir.
• Donanım çeşitliliği. Desteklenen donanımlar GPU'ları, Intel ve AMD'den x86 işlemcileri ve ARM tabanlı işlemcileri içerir. Yeni Azure işlemci türleri tedarik gecikmesi olmadan kullanılabilir hale gelir.

Düğüm havuzları

Düğüm havuzu, Discovery’nin benzer hesaplama kaynakları kümesini düzenlemek için kullandığı en küçük birimdir. Her düğüm havuzu, Discovery'nin iş yüklerini uygun kümeye yerleştirebilmesi için üyelerinin işlem ve bellek yapılandırmasını tanımlar. Her havuz, üzerinde zamanlanan iş yükleri için paralellik sınırını da ayarlar.

Düğüm havuzu aşağıdaki öznitelikleri belirtir:

• Hardware profili (boyut) havuzdaki tüm düğümler tarafından kullanılan Azure sanal makine (VM) türlerini belirtir. Örneğin, GPU havuzu NVIDIA Blackwell Ultra GPU'ları ve yapay zeka iş yükleri için Grace CPU'ları olan ND serisi VM'leri kullanırken, CPU havuzu geleneksel HPC için AMD, Intel veya Cobalt ARM işlemciler kullanabilir. Discovery Supercomputer GPU, yüksek bellekli iş yükleri ve hafif ölçek genişletme VM türleri gibi özel iş yükleri için çok çeşitli Azure HPC'yi destekler.
• Kapasite , havuzun çalıştırabileceği en fazla VM sayısını gösterir. Bir havuz, boştayken sıfır düğüme sahip olabilir ve yapılandırılmış en yüksek değere kadar ölçeklenebilir. Kapasite, aboneliğinizin kotalarına tabidir.
• Ağ ve konum , bir havuzdaki düğümlerin depolama ve Süper bilgisayar düzenleme sistemi gibi platform hizmetlerine ulaşmalarına olanak tanıyan belirlenmiş bir sanal ağ alt ağına nasıl bağlandığını tanımlar. Bir düğüm havuzu, İleti Geçirme Arabirimi (MPI) iş yükleri ve veri paylaşımı için düşük gecikme süreli ara bağlantı sağlamak üzere Süper bilgisayarla aynı Azure bölgesinde ve sanal ağda bulunur.
• İş yükü ataması. Bir düğüm havuzu, yalıtım ve iş izlemeyi desteklemek amacıyla belirli bir iş yükü, ekip veya projeye ayrılabilir.

Azure kaynaklar sanal olduğundan, yoğun bir iş yükü için havuzu boyutlandırmak havuz boşta olduğunda kaynakları boşa harcamaz. Yöneticiler havuz başına eşzamanlılık sınırları uygulayabilir ve kullanıcılar ve aracılar havuza kendi gereksinimlerine en uygun iş yüklerini dağıtır.

Düğüm havuzu yapılandırmaları

İş yüklerinin farklı işleme özellikleri vardır. Bazıları vektör veya tensor işlemleri için iyileştirilmiştir; diğerleri skaler hesaplama için iyileştirilmiştir. Düğüm havuzları donanımı iş yüküyle eşleştirmenize olanak tanır.

Donanım kategorileri

• GPU hızlandırmalı düğüm havuzları GPU'larla donatılmış, derin öğrenme eğitimi, moleküler dinamikler ve GPU hızlandırmasından yararlanan diğer algoritmalara uygun VM'ler. Örneğin, NVIDIA Blackwell GPU'larına sahip bir ND serisi havuzu, matris hesaplamalarında yüksek aktarım hızı sağlar ve hesaplama kimyası, genomiks ve görüntü işleme için çok uygundur.
• CPU için iyileştirilmiş düğüm havuzları Çekirdek veya bellekle ölçeklendirilen ancak geleneksel HPC ve Elektronik Tasarım Otomasyonu (EDA) iş yükleri, istatistiksel analiz ve veri işleme gibi GPU'lardan yararlanmayen iş yükleri için yüksek performanslı CPU VM'leri. Düşük maliyetli CPU VM'leri, iş yüklerini önceden işleme, düzenleme ve denetleme için de uygundur.
• Özelleştirilmiş düğüm havuzları. FPGA'lar gibi özel donanım gereksinimlerini karşılayan VM boyutları.

Tek bir Süper bilgisayar, farklı bilimsel bilgi işlemi tek bir platformda desteklemek için birden çok donanım kategorisini birleştirebilir. Örneğin, bir ilaç kuruluşu yapay zeka temelli molekül üretimi için bir GPU havuzu, simülasyon için ikinci bir GPU havuzu ve deneysel verileri işlemek için bir CPU havuzu çalıştırabilir. Silikon mühendisliği ekibi, elektromanyetik simülasyon için bir GPU havuzunu tasarım doğrulaması için bir CPU havuzuyla eşleştirebilir.

Modelleri ölçeklendirme

• Otomatik ölçeklendirme (isteğe göre) düğüm havuzları. Varsayılan yapılandırma. Havuzda boştayken çalışan düğüm yok. İş yükleri gönderildiğinde ve işler tamamlandığında, yapılandırılan maksimuma kadar serbest bırakıldığında düğümler sağlanır. Bu model, ani veya seyrek iş yükleri için uygun maliyetlidir.
• Kalıcı (her zaman açık) düğüm havuzları. En düşük düğüm sayısı sıfırdan büyük olacak şekilde yapılandırılır. Kalıcı havuzlar, gecikmeye duyarlı iş yükleri için kullanılabilir kapasiteyi, atıl VM kullanımı pahasına garanti eder.

Önkoşullar ve yapıtlar

Süper bilgisayar dağıtımı için şu yapıtlar gerekir: sanal ağ ve alt ağlar, yönetilen kimlikler, kapsayıcı görüntüleri ve araçlar için kaynak tanımları.

Ağ altyapısı

Süper bilgisayar Azure ortamınızda çalıştığından, HPC kümesini kurumsal ağ ve güvenlik denetimlerinizle tümleştiren ağ yapılandırmasını sağlarsınız.

Süper bilgisayar Azure bir sanal ağ gerektirir ve biri sistem düzenleme ve yönetim bileşenleri, diğeri de işlem düğümleri için olmak üzere iki alt ağ kullanır. Her iki alt ağın da aynı sanal ağda bulunması ve denetim düzleminin zamanlama ve sistem durumu denetimlerini koordine edebilmesi için sistem alt ağının düğüm havuzu alt ağlarına bağlantısı olmalıdır.

Pod CIDR ve Servis CIDR

Süper bilgisayarın temel alınan AKS kümesi, Kubernetes podları ve hizmetleri için Pod CIDR ve Hizmet CIDR olarak adlandırılan ayrı IP adresi aralıkları kullanır. Bu aralıklar kasıtlı olarak sanal ağ adres alanının dışında yapılandırılır ve yalnızca iç Kubernetes ağı için kullanılır.

Pod CIDR

Pod CIDR, Kubernetes'in kümede çalışan uygulama podlarına IP adresleri atadığı IP adresi aralığıdır. Her pod, Pod CIDR aralığından bir IP adresi alır ve küme içinde doğrudan poddan poda iletişimi etkinleştirir.

Hizmet CIDR

Hizmet CIDR, Kubernetes Services (ClusterIP hizmetleri) için kullanılan IP adresi aralığıdır. Her hizmete bu aralıktan bir sanal IP adresi atanır. Bu sanal IP'ler, şu anda hangi podların trafiğe hizmet ettiği fark etmeksizin uygulamalara erişmek için kararlı bir uç nokta sağlar.

Bu CIDR aralıkları neden sanal ağ adres alanının dışındadır?

Süper bilgisayarın AKS kümesinde Pod CIDR ve Service CIDR, aşağıdaki nedenlerle sanal ağ adres alanının dışında yapılandırılır:

• Altyapı ve Kubernetes ağı ayrımı. Sanal ağ adres alanı AKS düğümleri, sanal makineler, yük dengeleyiciler, özel uç noktalar ve diğer Azure hizmetleri gibi altyapı kaynakları için kullanılır. Ayrı CIDR aralıkları, altyapı IP adresleri ile Kubernetes tarafından yönetilen IP adresleri arasında çekişmeyi engeller.
• Geliştirilmiş IP adresi kullanımı. Podlar hızla ölçeklendirilebilir ve çok sayıda IP adresi kullanabilir. Ayrılmış Pod CIDR, sanal ağ adres alanını tüketmeden büyük ölçekli iş yüklerini destekler. Bu özellikle pod IP'lerinin sanal ağdan bağımsız olarak yönetildiği Azure CNI Katman ağı kullanılırken yararlıdır.
• Basitleştirilmiş ağ yönetimi. Pod ve Hizmet CIDR'lerinin ayrı tutulması, ağ adresi ayırmayı planlamayı, adres tükenmesini önlemeyi, küme büyümesini yönetmeyi ve ağ sorunlarını gidermeyi kolaylaştırır.
• Yönlendirme çakışmalarından kaçınma. Pod CIDR ve Hizmet CIDR'sinin AKS sanal ağ adres alanı, eşlenmiş sanal ağlar, VPN veya ExpressRoute aracılığıyla bağlanan şirket içi ağlar veya diğer AKS kümesi ağ aralıkları ile çakışmaması gerekir. Ayrılmış, çakışmayan adres aralıklarının kullanılması, tahmin edilebilir yönlendirme davranışı sağlar.

Örnek yapılandırma

Bu örnekte AKS düğümleri VNet alt ağından (10.100.1.0/24) IP adresleri alır, pod'lar Pod CIDR'den (10.244.0.0/16) IP adresleri alır ve Kubernetes Hizmetleri Service CIDR'den (10.0.0.0/16) sanal IP adresleri alır.

Güvenlik ve kimlik

Süper bilgisayar, diğer Azure hizmetleriyle etkileşime geçmek ve VM'leri yönetmek için Azure yönetilen kimlikleri kullanır.

• Küme kimliği. Dağıtım sırasında Süper Bilgisayar’a atadığınız, kullanıcı tarafından atanan yönetilen kimlik. Denetim düzlemi, depolamayı bağlama ve Azure Container Registry'den (ACR) kapsayıcı görüntülerini çekme gibi küme işlemlerini gerçekleştirmek için bu kimliği kullanır.
• Düğüm (kubelet) kimliği. Düğüm VM'lerine atanan ve araç görüntüleri için ACR gibi kaynaklara erişim sağlayan ikinci bir yönetilen kimlik. Kubelet kimliği, küme kimliğinden daha dar bir kapsama sahip olabilir, ancak küme kimliğinde Yönetilen Kimlik İşleci rolünü barındırması gerekir. Bu düzenleme, düğüm VM'lerinin kimlik bilgilerini göstermeden belirli işlemler için küme kimliği ayrıcalıklarını kullanmasına ve denetim düzlemi ile düğüm düzlemi arasındaki ayrımı sürdürmesine olanak tanır.
• İş yükü kimlikleri. Discovery, Süper Bilgisayarın hesaplama, yönetim ve idare düzlemleri için ayrı kimlikleri destekler. İş yükü kimlikleri, araçların gizli anahtarları yönetmek zorunda kalmadan Azure kimlik yönetimini kullanmasına olanak tanır.
• Görüntü kayıt defteri erişimi. Araç kapsayıcı görüntüleri genellikle ACR'de veya başka bir kapsayıcı kayıt defterinde depolanır. Süper bilgisayar kimlikleri çekme erişimi gerektirir. ACR'yi Docker kimlik bilgilerini doğrudan yönetmek yerine Microsoft Entra ID aracılığıyla Süper bilgisayarın yönetilen kimliğine güvenecek şekilde yapılandırın.
• Yönetilen kaynak grubu. Süper bilgisayar oluşturmak, aboneliğinizde Sanal Makine Ölçek Kümeleri gibi temel Azure kaynaklarını barındıran bir yönetilen kaynak grubu oluşturur. Bulma, bu kaynak grubunu diğer kaynak gruplarınızdan ayrı olarak sizin adınıza yönetir. Aboneliğinizin kullanmayı planladığınız VM boyutları için yeterli kotaya sahip olduğundan emin olun. Süper bilgisayar silindiğinde yönetilen kaynak grubu kaldırılır.

Araç kapsayıcısı görüntüleri ve yazılım ortamı

Bulma Araçları, Docker kapsayıcılarını kullanarak Supercomputer üzerinde çalışır. İmaj, bir aracın gerektirdiği ikili dosyaları, kitaplıkları ve kodu içermelidir. Görüntülerin varsayılan olarak Linux olan düğüm işletim sistemiyle uyumlu olması gerekir. Bir araç çalıştırıldığında platform, imajını yapılandırılmış kayıt deposundan atanan düğüme çeker. Kendi araçlarınızı getirme yaklaşımında, temel imajda bulunmayan tüm sürücüler yer almalıdır.

Dağıtım sırası

Aşağıdaki sıra, bileşenlerin nasıl dağıtılıp kullanıldığını özetler.

1. Süper bilgisayarı (kontrol düzlemi) oluşturun. Yönetici Azure portalı, Azure CLI veya ARM şablonu aracılığıyla bir Süper bilgisayar kaynağı dağıtır. Dağıtım bir ad ve bölge belirtir, gerekli alt ağı bağlar ve yönetilen kimlikleri atar.
2. HPC kümesini (veri düzlemi) oluşturun. Bulma işlemi, otomatik olarak yönetilen bir kaynak grubu oluşturur, küme için kaynakları dağıtır ve alt ağ yapılandırması ile temel ortam için istemde bulunur.
3. Düğüm havuzlarını (denetim düzlemi) tanımlayın. Yönetici, Süper bilgisayar için VM boyutunu, düğüm alt ağı ve ölçeklendirme parametrelerini belirterek bir veya daha fazla düğüm havuzu oluşturur. Discovery, yönetilen kaynak grubundaki ilgili Sanal Makine Ölçek Kümelerini yönetir. Otomatik ölçeklendirme etkinleştirildiğinde havuzlar sıfır düğümlerle veya kalıcı olduğunda yapılandırılan en düşük değerle başlayabilir.
4. Araçları ve aracıları kaydedin (kontrol düzlemi). Araç yazarları araçları Bulma kataloğuna kaydederek her aracın kapsayıcı görüntüsü konumunu ve kaynak gereksinimlerini sağlar. Aracılar daha sonra kayıtlı araçları çağırabilir.
5. İş yüklerini yürütme (veri düzlemi). Kullanıcı Copilot veya aracı iş akışı aracılığıyla bir iş başlattığında Discovery çalıştırmayı düzenler ve uygun düğüm havuzlarında gerekli araçları çağırır.
6. İşleri izleyin ve tamamlayın. Kontrol düzlemi, çalışan görevleri iş kuyrukları, günlük kayıtları ve sistem durumu denetimleri aracılığıyla izler. Kullanıcılar durum güncelleştirmelerini Copilot aracılığıyla alır. Bir iş tamamlandığında, sonuçlar belirlenen depolama alanına yazılır ve kapsayıcı sonlanır. Boşta kalan düğümler otomatik ölçeklendirme havuzlarında serbest bırakılır.
7. Yineleyin ve ölçeklendirin. Kullanıcılar sonuçları gözden geçirebilir ve gerekirse devam çalıştırmalarını başlatabilir. Düğüm havuzları isteğe bağlı olarak ölçeklendirilir ve yöneticiler mevcut havuzları yeniden boyutlandırabilir veya iş yükleri geliştikçe yeni havuzlar ekleyebilir.

Microsoft.Discovery/storages ile tümleştirme

Discovery, Microsoft.Discovery/storages kaynak türü aracılığıyla süper bilgisayarı Azure HPC depolamasıyla entegre eder. Yüksek performanslı dosya depolama gerektiren iş yükleri için Azure NetApp Files uygun bir seçenektir.

DataContainers ve veri varlıkları

Depolama altyapısının ötesinde Discovery, DataContainers ve veri varlıkları aracılığıyla bilimsel verileri yönetir. Her ikisi de araç yürütme işlem hattının ayrılmaz parçasıdır ve Bulma Projeleri'nde tanımlanır.

Veri Kapsayıcıları

DataContainer, temel depolama teknolojisini soyutlayan ve Azure Blob Depolama, Bulma Depolama ve diğer arka uçlarda yapay zeka aracılarına tutarlı bir arabirim sunan mantıksal bir veri deposudur. DataContainers şu bilgileri sağlar:

• Depolama soyutlaması. Depolama arka uçları arasında birleşik erişim.
• Erişim denetimi. Güvenli erişim için kimlik bilgileri yönetimi.
• Entegrasyon. Depolama kaynakları ve araştırma araçları arasında tanımlı bir tümleştirme noktası.

DataContainers, belirli depolama hesaplarına veya birimlere bağlı Microsoft.Discovery.DataContainer kaynakları olarak temsil edilir.

Veri varlıkları

Veri varlığı, DataContainer içindeki tek bir dosyayı, veri kümesini veya koleksiyonu temsil eder. Veri varlıkları şu bilgileri sağlar:

• Organizasyon. Göreve, işe veya projeye göre gruplandırma.
• Köken. Veri kaynağının ve dönüşümlerin kaydı.
• Meta veriler. Bulunabilirliği geliştiren açıklayıcı öznitelikler.
• Araç G/Ç. Verilerin tüketilmesi ve üretilmesi için araçlar için yapılandırılmış bir mekanizma.

Veri varlığı meta verileri bir varlığın içeriğini, biçimini ve ilişkilerini açıklayarak varlıkların karmaşık iş akışlarına katılmasını sağlar.

Sonraki adım