[Tsieina, Shenzhen, Gorffennaf 14, 2023] Heddiw, dadorchuddiodd Huawei ei ddatrysiad storio AI newydd ar gyfer oes modelau ar raddfa fawr, gan ddarparu'r atebion storio gorau posibl ar gyfer hyfforddiant model sylfaenol, hyfforddiant model diwydiant-benodol, a chasgliad mewn senarios segmentiedig, felly rhyddhau galluoedd AI newydd.
Wrth ddatblygu a gweithredu cymwysiadau model ar raddfa fawr, mae mentrau'n wynebu pedair her fawr:
Yn gyntaf, mae'r amser sydd ei angen ar gyfer paratoi data yn hir, mae ffynonellau data yn wasgaredig, ac mae agregu yn araf, gan gymryd tua 10 diwrnod ar gyfer rhagbrosesu cannoedd o derabytes o ddata. Yn ail, ar gyfer modelau mawr aml-foddol gyda setiau data testun a delwedd enfawr, mae'r cyflymder llwytho presennol ar gyfer ffeiliau bach enfawr yn llai na 100MB/s, gan arwain at effeithlonrwydd isel ar gyfer llwytho set hyfforddi. Yn drydydd, mae addasiadau paramedr aml ar gyfer modelau mawr, ynghyd â llwyfannau hyfforddi ansefydlog, yn achosi ymyriadau hyfforddi bob tua bob 2 ddiwrnod, sy'n golygu bod angen mecanwaith Checkpoint i ailddechrau hyfforddi, gydag adferiad yn cymryd dros ddiwrnod. Yn olaf, mae trothwyon gweithredu uchel ar gyfer modelau mawr, gosodiad system gymhleth, heriau amserlennu adnoddau, a defnydd adnoddau GPU yn aml yn is na 40%.
Mae Huawei yn cyd-fynd â thueddiad datblygiad AI yn oes modelau ar raddfa fawr, gan gynnig atebion wedi'u teilwra ar gyfer gwahanol ddiwydiannau a senarios. Mae'n cyflwyno'r OceanStor A310 Deep Learning Lake Data Storage a'r FusionCube A3000 Training/Inference Offer Super-Converged. Mae OceanStor A310 Deep Learning Lake Data Storage yn targedu senarios llynnoedd data model mawr sylfaenol a diwydiant, gan gyflawni rheolaeth data AI cynhwysfawr o agregu data, rhagbrosesu i hyfforddiant model, a chymwysiadau casgliad. Mae'r OceanStor A310, mewn un rac 5U, yn cefnogi lled band 400GB/s sy'n arwain y diwydiant a hyd at 12 miliwn o IOPS, gyda scalability llinol hyd at nodau 4096, gan alluogi cyfathrebu traws-brotocol di-dor. Mae'r System Ffeil Fyd-eang (GFS) yn hwyluso gwehyddu data deallus ar draws rhanbarthau, gan symleiddio prosesau cydgasglu data. Mae cyfrifiadura agos-storio yn gwireddu rhagbrosesu data agos, gan leihau symudiad data, a gwella effeithlonrwydd rhagbrosesu 30%.
Mae'r Offeryn Uwch-Gydgyfeiriol Hyfforddiant/Casgliad FusionCube A3000, sydd wedi'i gynllunio ar gyfer senarios hyfforddi/casgliad model mawr ar lefel diwydiant, yn darparu ar gyfer cymwysiadau sy'n cynnwys modelau gyda biliynau o baramedrau. Mae'n integreiddio nodau storio perfformiad uchel OceanStor A300, nodau hyfforddi / casglu, offer newid, meddalwedd platfform AI, a meddalwedd rheoli a gweithredu, gan ddarparu profiad lleoli plwg-a-chwarae i bartneriaid model mawr ar gyfer darpariaeth un-stop. Yn barod i'w ddefnyddio, gellir ei ddefnyddio o fewn 2 awr. Gellir ehangu nodau hyfforddi/casgliad a storio yn annibynnol ac yn llorweddol i gyd-fynd ag amrywiol ofynion graddfa model. Yn y cyfamser, mae FusionCube A3000 yn defnyddio cynwysyddion perfformiad uchel i alluogi hyfforddiant model lluosog a thasgau casglu i rannu GPUs, gan gynyddu'r defnydd o adnoddau o 40% i dros 70%. Mae FusionCube A3000 yn cefnogi dau fodel busnes hyblyg: Huawei Ascend One-Stop Solution a'r datrysiad un-stop partner trydydd parti gyda meddalwedd cyfrifiadura agored, rhwydweithio a llwyfan AI.
Dywedodd Llywydd y Llinell Cynnyrch Storio Data Huawei, Zhou Yuefeng, “Yn oes modelau ar raddfa fawr, mae data yn pennu uchder cudd-wybodaeth AI. Fel cludwr data, mae storio data yn dod yn seilwaith sylfaenol allweddol ar gyfer modelau AI ar raddfa fawr. Bydd Huawei Data Storage yn parhau i arloesi, gan ddarparu datrysiadau a chynhyrchion amrywiol ar gyfer oes modelau mawr AI, gan gydweithio â phartneriaid i yrru grymuso AI ar draws ystod eang o ddiwydiannau.”
Amser postio: Awst-01-2023
