NVIDIA представила GPU для моделей с длинным контекстом

Компания NVIDIA представила новый графический процессор GB200, разработанный специально для долгого контекстного инференса, сообщает TechCrunch. Чип ориентирован на использование в больших языковых моделях и генеративном ИИ.

GB200 способен обрабатывать до 1 миллиона токенов в одном запросе. Это даёт моделям возможность дольше “помнить” контекст и логично продолжать большие тексты — особенно полезно при генерации кода, обработке документов и длинных диалогах.

Чип построен на архитектуре ГХ200 Grace Hopper Суперчип. Она обеспечивает высокую производительность, энергоэффективность и масштабируемость для LLM. Серверы на базе GB200 ожидаются на рынке в 2026 году.