[China, Shenzhen, 14 Juli 2023] Dina iki, Huawei mbukak solusi panyimpenan AI anyar kanggo jaman model skala gedhe, nyedhiyakake solusi panyimpenan sing optimal kanggo latihan model dhasar, pelatihan model khusus industri, lan inferensi ing skenario sing dipérang. ngeculake kemampuan AI anyar.
Ing pangembangan lan implementasine aplikasi model skala gedhe, perusahaan ngadhepi papat tantangan utama:
Kaping pisanan, wektu sing dibutuhake kanggo nyiapake data saya suwe, sumber data kasebar, lan panggabungan alon-alon, njupuk kira-kira 10 dina kanggo preprocessing atusan terabyte data. Kapindho, kanggo model gedhe multi-modal kanthi set data teks lan gambar sing akeh, kacepetan loading saiki kanggo file cilik sing gedhe-gedhe kurang saka 100MB / s, nyebabake efisiensi kurang kanggo loading set latihan. Katelu, pangaturan parameter sing kerep kanggo model gedhe, bebarengan karo platform latihan sing ora stabil, nyebabake gangguan latihan kira-kira saben 2 dina, mbutuhake mekanisme Checkpoint kanggo nerusake latihan, kanthi pemulihan njupuk sedina. Pungkasan, ambang implementasine dhuwur kanggo model gedhe, persiyapan sistem rumit, tantangan jadwal sumber daya, lan panggunaan sumber daya GPU asring ing ngisor 40%.
Huawei selaras karo tren pangembangan AI ing jaman model skala gedhe, nawakake solusi sing cocog kanggo industri lan skenario sing beda-beda. Iki ngenalake OceanStor A310 Deep Learning Data Lake Storage lan FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage nargetake skenario tlaga data model gedhe dhasar lan tingkat industri, entuk manajemen data AI sing komprehensif saka agregasi data, praproses nganti latihan model, lan aplikasi inferensi. OceanStor A310, ing rak 5U tunggal, ndhukung bandwidth 400GB/s sing unggul ing industri lan nganti 12 yuta IOPS, kanthi skalabilitas linear nganti 4096 simpul, supaya komunikasi lintas protokol sing lancar. Sistem File Global (GFS) nggampangake tenun data cerdas ing wilayah, nyepetake proses agregasi data. Komputasi panyimpenan cedhak nyadari preprocessing data cedhak, nyuda gerakan data, lan ningkatake efisiensi preprocessing kanthi 30%.
FusionCube A3000 Training/Inference Super-Converged Appliance, dirancang kanggo skenario latihan/inferensi model gedhe tingkat industri, nyedhiyakake aplikasi sing nglibatake model kanthi milyaran parameter. Iki nggabungake simpul panyimpenan kinerja dhuwur OceanStor A300, simpul latihan/inferensi, peralatan switching, piranti lunak platform AI, lan piranti lunak manajemen lan operasi, nyedhiyakake mitra model gedhe kanthi pengalaman penyebaran plug-and-play kanggo pangiriman siji-mandeg. Siap digunakake, bisa disebarake sajrone 2 jam. Loro latihan / inferensi lan simpul panyimpenan bisa ditambahi kanthi mandiri lan horisontal kanggo cocog karo macem-macem syarat skala model. Sauntara kuwi, FusionCube A3000 nggunakake kontaner kanthi kinerja dhuwur kanggo ngaktifake macem-macem latihan model lan tugas inferensi kanggo nuduhake GPU, nambah panggunaan sumber daya saka 40% dadi luwih saka 70%. FusionCube A3000 ndhukung rong model bisnis sing fleksibel: Huawei Ascend One-Stop Solution lan solusi siji-mandeg mitra pihak katelu kanthi komputasi terbuka, jaringan, lan piranti lunak platform AI.
Presiden Lini Produk Penyimpanan Data Huawei, Zhou Yuefeng, ujar, "Ing jaman model skala gedhe, data nemtokake dhuwur intelijen AI. Minangka operator data, panyimpenan data dadi prasarana dhasar utama kanggo model AI skala gedhe. Panyimpenan Data Huawei bakal terus berinovasi, nyedhiyakake solusi lan produk sing macem-macem kanggo jaman model AI gedhe, kolaborasi karo mitra kanggo nyurung pemberdayaan AI ing macem-macem industri.
Wektu kirim: Aug-01-2023
