[סין, שנזן, 14 ביולי 2023] היום חשפה Huawei את פתרון אחסון הבינה המלאכותית החדש שלה לעידן הדגמים בקנה מידה גדול, המספק פתרונות אחסון אופטימליים להכשרת מודלים בסיסיים, הכשרת מודלים ספציפיים לתעשייה והסקת תרחישים מפולחים, ובכך לשחרר יכולות AI חדשות.
בפיתוח והטמעה של יישומי מודל בקנה מידה גדול, ארגונים מתמודדים עם ארבעה אתגרים עיקריים:
ראשית, הזמן הנדרש להכנת הנתונים הוא ארוך, מקורות הנתונים מפוזרים והצבירה איטית, ולוקח כ-10 ימים לעיבוד מוקדם של מאות טרה-בייט של נתונים. שנית, עבור דגמים גדולים מולטי-מודאליים עם מערכי נתונים מסיביים של טקסט ותמונה, מהירות הטעינה הנוכחית של קבצים קטנים מאסיביים היא פחות מ-100MB/s, וכתוצאה מכך יעילות נמוכה לטעינת ערכות אימונים. שלישית, התאמות תכופות של פרמטרים עבור דגמים גדולים, יחד עם פלטפורמות אימון לא יציבות, גורמות להפרעות אימון כל יומיים בערך, מה שמחייב את מנגנון ה-Checkpoint לחידוש האימונים, כשההתאוששות לוקחת יותר מיום. לבסוף, ספי הטמעה גבוהים עבור דגמים גדולים, הגדרת מערכת מורכבת, אתגרי תזמון משאבים וניצול משאבי GPU לרוב מתחת ל-40%.
Huawei מיישרת קו עם מגמת פיתוח הבינה המלאכותית בעידן של דגמים בקנה מידה גדול, ומציעה פתרונות מותאמים לתעשיות ותרחישים שונים. הוא מציג את OceanStor A310 Deep Learning Data Lake Storage ואת ה-FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage מתמקד הן בתרחישים בסיסיים והן ברמת התעשייה של אגם נתונים גדול של מודלים, ומשיג ניהול מקיף של נתוני בינה מלאכותית, החל מאגירת נתונים, עיבוד מקדים לאימון מודלים ויישומי הסקה. ה-OceanStor A310, במתלה בודד של 5U, תומך ברוחב פס של 400GB/s מוביל בתעשייה ועד 12 מיליון IOPS, עם מדרגיות ליניארית של עד 4096 צמתים, המאפשרת תקשורת צולבת פרוטוקולים חלקה. מערכת הקבצים הגלובלית (GFS) מאפשרת אריגה חכמה של נתונים בין אזורים, ומייעלת את תהליכי צבירת הנתונים. מחשוב קרוב לאחסון מיישם עיבוד מקדים של כמעט נתונים, מפחית את תנועת הנתונים ומשפר את יעילות העיבוד המקדים ב-30%.
ה-FusionCube A3000 Training/Inference Super-Converged Appliance, שתוכנן עבור תרחישי אימון/הסקת הסקת מודלים גדולים ברמת התעשייה, נותן מענה ליישומים הכוללים מודלים עם מיליארדי פרמטרים. הוא משלב צמתי אחסון עם ביצועים גבוהים של OceanStor A300, צמתי הדרכה/הסקה, ציוד מיתוג, תוכנת פלטפורמת בינה מלאכותית ותוכנות ניהול ותפעול, ומספק לשותפים מדגמים גדולים חווית פריסה של הכנס-והפעל למסירה אחת. מוכן לשימוש, ניתן לפרוס אותו תוך שעתיים. ניתן להרחיב את צומת ההדרכה/הסקה וגם את צמתי האחסון באופן עצמאי ואופקי כדי להתאים לדרישות קנה המידה השונות של המודל. בינתיים, FusionCube A3000 משתמש בקונטיינרים בעלי ביצועים גבוהים כדי לאפשר משימות אימון והסקת מודלים מרובות לשיתוף GPUs, מה שמגדיל את ניצול המשאבים מ-40% ליותר מ-70%. FusionCube A3000 תומך בשני מודלים עסקיים גמישים: Huawei Ascend One-Stop Solution ופתרון ה-One Stop של שותף צד שלישי עם תוכנת מחשוב פתוח, רשת ותוכנת פלטפורמת בינה מלאכותית.
נשיא קו מוצרי אחסון הנתונים של Huawei, Zhou Yuefeng, הצהיר, "בעידן של מודלים בקנה מידה גדול, הנתונים קובעים את גובה אינטליגנציה של AI. בתור נושא הנתונים, אחסון הנתונים הופך לתשתית הבסיסית של מודלים בקנה מידה גדול של AI. Huawei Data Storage תמשיך לחדש, לספק פתרונות ומוצרים מגוונים לעידן של דגמי AI גדולים, תוך שיתוף פעולה עם שותפים כדי להניע העצמת AI במגוון רחב של תעשיות."
זמן פרסום: אוגוסט-01-2023
