Сеть инференса LLM нового поколения: как ZCube снимает сетевые bottleneck
Z.ai, Harnets.AI и Tsinghua University показали ZCube: сетевую архитектуру для LLM-инференса, которая снижает CapEx на 33%, повышает throughput на 15% и уменьшает TTFT P99 на 40,6%.