Саккиз йил аввал ишлаб чиқарилган Нвидиа Tesla В100 график тезлатгичи сунъий интеллект моделларини локал ишга туширишда ҳамон юқори самарадорлик кўрсатмоқда. Ҳардваре Ҳавен канали муаллифи ўтказган тестлар шуни кўрсатдики, ушбу эски сервер картаси ҳатто RTX 3060 12 GB ва Радеон RX 7800 ХТ 16 GB каби замонавий моделлардан ҳам тезроқ ишлайди. Бу ҳақда Ixbt.com хабар беради.
Ҳозирда иккиламчи бозорда тахминан 100 долларга топиш мумкин бўлган Tesla В100 оддий шахсий компьютерга ўрнатиш учун СХМ-то-ПСИе адаптери, алоҳида қувват манбаи ва 3D-принтерда чоп этилган совутиш тизимини талаб қилади. Барча қўшимча жиҳозлар билан бирга йиғилган тизимнинг умумий қиймати 235 долларни ташкил этди.
Тест натижаларига кўра, ГПТ-осс 20Б моделида Tesla В100 сониясига 130 та токен ишлаб чиқарди, бу Радеон RX 7800 ХТ (90 токен/с) кўрсаткичидан сезиларли даражада юқори. Шунингдек, Гемма4:э4б моделида ҳам у RTX 3060 12 GB картасини 108 ва 76 токен/с нисбатида ортда қолдирди.
Ушбу картанинг асосий устунлиги ҲБМ2 хотирасининг юқори ўтказувчанлик қобилиятида ва айнан ҳисоблаш жараёнларига мослаштирилганлигидадир. Гарчи ўрнатиш жараёни мураккаб бўлса-да, сервер GPU'лари сунъий интеллект ишқибозлари учун жуда фойдали ва арзон ечим бўлиб қолмоқда.
Мутахассислар 32 GB хотирага эга Tesla В100 версияларига ҳам эътибор қаратишни тавсия қилмоқда. 400–500 доллар атрофида сотиладиган бу моделлар оғирроқ LLM-моделларни локал тарзда ишга тушириш учун қимматбаҳо замонавий RTX карталарига муносиб муқобил бўлиши мумкин.
“Zamin”ни Telegram'да ўқинг!
