דוח חדש של נאנד ריסרץ’ (NAND Research) מדגיש כי מעבדי GPU עמוסים אינם מהווים מדד מדויק לתפוקה יצרנית; הדוח מציג את מדד Inference Economics Scorecard החדש למדידת תשתיות הסקה לפי העבודה השימושית שהן מספקות, כפי שיושם במבחן ביצועים (benchmark) בן שמונה שעות עם נביוס (Nebius) על גבי מעבדי NVIDIA HGX B300 ו-WEKA
שיקגו, 16 בנובמבר, 2026 /PRNewswire/ — מכנס Supercomputing 2026: WEKA, חברת תשתיות הנתונים והזיכרון לבינה מלאכותית (AI), בשיתוף עם חברת מודיעין השוק NAND Research, הציגו היום את Inference Economics Scorecard, מסגרת משותפת חדשה למדידת הפרודוקטיביות והערך הכלכלי של תשתיות הסקה לפי העבודה השימושית שהן מספקות, ולא לפי מידת העומס שבהן נשמרים מעבדי ה-GPU. כרטיס המדדים (scorecard) מגדיר תשעה מדדים, כולל טוקנים לוואט (tokens per watt), עלות להסקה (cost per inference) ושימור הקשר (context retention). הוא קובע ארבעה כללי בדיקה, כולל הרצות של שמונה שעות לפחות וספירה של תפוקה מוצלחת בלבד. המדד, שכבר יושם במבחן ביצועים עם Nebius, חברת ענן ה-AI, מגיע בתקופה שבה תחום ההסקה תופס נתח הולך וגדל מההוצאות על תשתיות AI, ורוכשים נתקלים במגבלות של הספק חשמל, זיכרון ושטח בארונות שרתים (rack-space).
רוכשים כבר מתייחסים להסקה באופן שונה, כך עולה ממחקר חדש
מחקר חדש של 451 Research מבית S&P Global מראה כי ארגונים כבר מסתגלים לשינוי, וחוזה כי תחום ההסקה יצמח מ-34% מההוצאות על תשתיות AI בשנת 2026 ל-46% עד שנת 2030, וכן מוצא כי 41% מהארגונים המריצים תהליכי הסקה רוכשים עבורם תשתית שונה מהותית מזו המשמשת לשאר מערך ה-IT שלהם.
“הסקה היא השלב שבו הערך של ה-AI מתממש בסופו של דבר, והמחקר שלנו מראה שהיא מעצבת מחדש את האופן שבו ארגונים רוכשים תשתיות,” אמר גרג מקאטי (Greg Macatee), אנליסט בכיר ב-451 Research מבית S&P Global. “סוכנים מניעים צמיחה מעריכית בהיקף הטוקנים; מגבלות זיכרון, הספק חשמל ואספקה מאתגרות מאוד את התפיסה שארגונים יכולים לעמוד בקצב פשוט באמצעות הוספת מעבדי GPU נוספים.”
מדוע ניצולת GPU אינה מספקת עבור הסקה
במשך שנים, אימון (training) היה עומס העבודה הדומיננטי בתחום ה-AI. מכיוון שתהליך האימון מעסיק את מעבדי ה-GPU במשימות גדולות וצפויות, ניצולת ה-GPU הפכה למדד ברירת המחדל לפרודוקטיביות של תשתיות AI. הסקה, ובמיוחד הסקה מבוססת סוכנים (agentic inference), מציבה דרישות שונות לחלוטין בפני מעבדי GPU. סוכן אינו מסתפק במתן תשובה לפרומפט בודד; הוא משלים משימה לאורך שלבים רבים, ובכל שלב הוא קורא מחדש את ההקשר (context) שבנה קודם לכן. לאחר שמעבד ה-GPU מפנה את ההקשר הזה מהזיכרון כדי לפנות מקום למשתמשים ולהפעלות (sessions) אחרות, עליו לחשב אותו מחדש כאשר המשימה חוזרת, והמשימה אינה מתקדמת כלל עד שעבודה זו מושלמת. התוצאה היא מעבד GPU הנמצא בניצולת מלאה אך חסר פרודוקטיביות, מכיוון שהוא מבזבז מחזורי עיבוד על חישוב מחדש של אותם טוקנים פעמים רבות.
מדד Inference Economics Scorecard מודד מערכות הסקה בקנה מידה של סביבת ייצור (production): בקשות שהושלמו עבור משתמשים רבים במקביל, באופן רציף לאורך שעות ולא לאורך דקות.
“התעשייה מעריכה את תחום ההסקה באמצעות גיליון ציונים מעידן האימון. ניצולת GPU אומרת לך שהשבב היה עסוק. היא אינה יכולה לומר לך אם העבודה הושלמה, בוצעה שוב ושוב או נזרקה לפח – ועם סוכנים, חלק גדול ממנה חוזר על עצמו,” אמר לירן זביבל (Liran Zvibel), מייסד-שותף ומנכ”ל WEKA. “הספק חשמל, אספקה ושטח בארונות שרתים מהווים כיום מגבלות לא פחות מהון. החישוב החדש הנדרש עבור תשתיות הסקה הוא עבודה שימושית לוואט, לארון שרתים ולדולר, בזמני התגובה שהמשתמשים שלכם מצפים להם. מדד Inference Economics Scorecard מעלה את החישוב הזה על הכתב, ו-WEKA תימדד לפיו בדיוק כמו כולם.”
מעסוק ליצרני: כיצד פועל כרטיס המדדים (Scorecard)
מדד Inference Economics Scorecard מגדיר תשעה מדדים לביצועים ולכלכלה של תהליכי הסקה: טוקנים לוואט, טוקנים לארון שרתים, עלות להסקה, תפוקה שימושית של GPU, זמן לטוקן הראשון והשהיית קצה-לקצה, יעילות זיכרון, צפיפות תפעולית, מקביליות סוכנים ושימור הקשר. הוא גם קובע את כללי המשמעת לבדיקה לפיהם:
- אותו עומס עבודה ויעדי שירות זהים בכל מערכת הנבדקת
- מדידה של מערך ההגשה (serving stack) כולו
- הרצות של שמונה שעות לפחות
- ספירה של תפוקה מוצלחת בלבד
“הטעות היקרה ביותר בתשתיות AI כיום היא רכישה עבור תפוקת שיא ותשלום עבור עבודה חוזרת,” אמר סטיב מקדואל (Steve McDowell), אנליסט ראשי ומייסד ב-NAND Research. “עומסי עבודה מבוססי סוכנים מקלים על החמצת הטעות הזו, מכיוון שכל שלב במשימה ארוכה קורא מחדש הקשר שמעבד GPU עמוס עלול להיאלץ לבנות מחדש מאפס. תכננו את כרטיס המדדים כך שרוכשים יוכלו לבחון כל מערכת לפי אותו סטנדרט: עבודה שהושלמה, הנמדדת לאורך שעות, תוך ספירה של כל כשל. מבחן הביצועים של Nebius מראה מה משמעת זו חושפת, מכיוון שהוא רץ במשך שמונה שעות מלאות וספר כל בקשה שנכשלה או חרגה מזמן ההמתנה.”
מעמידים זאת למבחן: עומס סוכנים אמיתי, רציף למשך שמונה שעות
WEKA ו-Nebius יישמו לאחרונה את כללי כרטיס המדדים במבחן ביצועים משותף על גבי מערכות NVIDIA HGX B300 ודיווחו על תוצאות במספר מדדים. הבדיקה רצה על צומת (node) אחד של שמונה מעבדי GPU המשרת את DeepSeek-V4-Pro עבור 512 הפעלות פעילות מתוך מאגר של יותר מ-5,000 הפעלות קידוד אמיתיות מבוססות סוכנים, במשך שמונה שעות לכל תצורה, תוך ספירה של כל בקשה שנכשלה או חרגה מזמן ההמתנה.
באמצעות WEKA NeuralMesh עם Augmented Memory Grid, המאגדת משאבי NVMe ברחבי האשכול כשכבת הקשר משותפת, הפיק הצומת פי 3.7 יותר טוקני פלט לשעת GPU בהשוואה להגשה מבוססת HBM בלבד על גבי אותם מעבדי GPU, ו-97% מהבקשות שהושלמו בהצלחה הגיעו לטוקן הראשון בתוך חמש שניות, עלייה מ-44%. בהגשה מבוססת HBM בלבד, 60% מעבודת העיבוד המקדים חושבה מחדש מתוך הקשר שהאשכול כבר עיבד מוקדם יותר באותה הפעלה; עם Augmented Memory Grid, 6.8%. בקצב שנמדד, הצומת מבוסס ה-HBM בלבד היה נדרש לכ-30 שעות כדי להפיק את מה ש-Augmented Memory Grid הפיקה בתוך שמונה שעות. מבחן הביצועים המלא מתפרסם בבלוגים של weka.io ו- nebius.com.
תפוקת שיא מראה למה מערכת מסוגלת במשך דקות ספורות, אך הלקוחות שלנו מפעילים סוכנים במשך שעות, ימים או יותר מכך, ולכן מה שחשוב הוא עבודה שימושית רציפה,” אמר נארק טטבוסיאן (Narek Tatevosyan), סמנכ”ל מוצר ב-Nebius. “לאורך משמרת מלאה, תצורת ה-HBM בלבד איבדה מיעילותה בהתמדה ככל שההקשר נדחק מהזיכרון ומספר חריגות זמן ההמתנה (timeouts) עלה, בעוד ש-WEKA NeuralMesh שמרה על השהיית טוקן ראשון קבועה לאורך כל ההרצה. הדבר משנה את האופן שבו אנו מתכננים קיבולת: אנו מתאימים את גודל המערכת לעבודה שהושלמה לאורך יום עבודה, ולא לשיא של מבחן ביצועים, ומדד Inference Economics Scorecard מעניק לנו דרך משותפת להציג ללקוחות את הנתון הזה.”
“הסקה מבוססת סוכנים היא עומס העבודה המגדיר את מפעל ה-AI, והיא מציבה דרישות יוצאות דופן בפני הזיכרון וההקשר. השאלה בקנה מידה רחב אינה עוד כמה הקשר נכנס על גבי מעבד ה-GPU, אלא עד כמה ניתן להרחיב אותו ברחבי האשכול מבלי לחשב אותו מחדש,” אמר ג’ייסון הארדי (Jason Hardy), סמנכ”ל טכנולוגיית אחסון ב-NVIDIA. “התוצאות של WEKA ו-Nebius על גבי מערכות NVIDIA HGX B300 מראות מה שכבת הקשר משותפת יכולה לעשות עבור תפוקה רציפה ומהירות תגובה, וככל שתחום ההסקה צומח, רוכשים יזדקקו לדרך ברורה יותר להשוות בין מערכות לפי העבודה שהן משלימות בפועל.”
ניתן לשחזור מעצם תכנונו: עקבות (Traces) וכלים בקוד פתוח
עקבות ההרצה (traces) והכלים שמאחורי מבחן הביצועים זמינים בקוד פתוח, כך שכל אחד יכול להריץ את אותו עומס עבודה במערכות שלו ולהשוות תוצאות בתנאים שווים. מכיוון שעקבות ההרצה מגיעות מהפעלות קידוד אמיתיות מבוססות סוכנים ולא מעומס סינתטי, וכוללות את התזמון והמורכבות המשתנים של עבודה אמיתית, הן מעניקות לכל צוות חלופה מציאותית לסביבת ייצור. אחרים כבר בונים עליהן: מבחן הביצועים AgentX של סמי-אנליסיס (SemiAnalysis) בנוי על גבי עקבות אלה, וכלי המדידה NVIDIA AIPerf מסופק עם טוען (loader) עבורן.
“מבחן ביצועים להסקה מבוססת סוכנים חייב לשקף תעבורת סביבת ייצור בעולם האמיתי, כולל סוכנים הפועלים לאורך זמן, הקשר הולך וגדל, תהליכי עבודה מורכבים מרובי-סוכנים עם תתי-סוכנים, ודפוסי תעבורה מתפרצים ובלתי צפויים המאפיינים פריסות בעולם האמיתי,” אמר דילן פאטל (Dylan Patel), מייסד ומנכ”ל SemiAnalysis. “מעט מדי מבחני ביצועים עומדים ברף הזה – וזהו הפער שלסגירתו בנינו את AgentX, וזו הסיבה ש-AgentX רץ על עקבות הרצה אמיתיות מבוססות סוכנים תוך שימוש בפורמט העקבות הפתוח kvlab של WEKA, כך שכל אחד יכול להריץ מחדש את אותם תהליכי עבודה רב-שלביים ולהשוות תוצאות בתנאים שווים. כאשר סוכנים הופכים לעומס העבודה הדומיננטי בתחום ההסקה, מדידה ניתנת לשחזור מסוג זה היא הדרך שבה התעשייה מתקדמת מעבר למספרי שיא ורואה במה התשתית שלה מסוגלת לעמוד לאורך זמן.”
חברת SemiAnalysis מתכננת לשתף תוצאות של AgentX על גבי WEKA NeuralMesh ככל שהבדיקות יתקדמו. למידע נוסף, בקרו בכתובת https://inferencex.semianalysis.com/agentx.
משאבים נוספים
- מדד Inference Economics Scorecard והדוח הנלווה של NAND Research זמינים כאן.
- הורידו עותק חינם של דוח 451 Research מבית S&P Global, “מהסקה ל-AI מבוסס סוכנים”כאן.
- קראו את הפוסט בבלוג מאת מנכ”ל WEKA, לירן זביבל.
- כדי ללמוד על ההנדסה שמאחורי כלי הלכידה וכיצד הוגדרו המדדים, בקרו כאן.
- בקרו את WEKA בכנס SC26 בשיקגו, בין ה-16 ל-20 בנובמבר, בביתן #2519, כדי ללמוד עוד על האופן שבו ניתן ליישם את מדד Inference Economics Scorecard על עומסי ההסקה שלכם.
אודות WEKA
WEKA היא חברת תשתיות הנתונים והזיכרון ל-AI המשנה את כלכלת ה-AI מבוסס הסוכנים. פלטפורמת WEKA NeuralMesh מאחדת אחסון נתונים עתיר ביצועים עם זיכרון GPU מורחב, ומעניקה לארגונים, לספקי ענן AI ולמפתחי AI תשתית אחידה לאימון, להסקה ולעומסי עבודה מבוססי סוכנים. עם Augmented Memory Grid, פלטפורמת NeuralMesh מרחיבה את קיבולת הזיכרון של ה-GPU פי 1000, מאיצה את הזמן לטוקן הראשון עד פי 20 ומאפשרת תמיכה בפי 10 יותר משתמשים במקביל מאותה תשתית GPU, כפי שהוכח במבחני ביצועים בסביבת ייצור. WEKA מאפשרת לארגונים להרחיב את פעילות ה-AI בסביבת ייצור מהר יותר, להפיק יותר עבודה שימושית מכל מעבד GPU ולהפחית את העלות של כל טוקן המסופק. למידע נוסף בקרו בכתובת www.weka.io, או צרו איתנו קשר ב- LinkedIn ו- X.
WEKA והלוגו של WEKA הם סימנים מסחריים רשומים, ו-WEKA NeuralMesh ו-Augmented Memory Grid הם סימנים מסחריים של WekaIO, Inc. סימנים מסחריים אחרים המוזכרים כאן הם קניינם של בעליהם בהתאמה.

