Nvidia NeMo Switchyard-ті ИИ модельдерін маршруттау үшін іске қосады
Материал бірнеше дереккөз негізінде жасанды интеллектпен дайындалды — түпнұсқаларға сілтемелер төменде.
Nvidia сұрауларды ең қолайлы ИИ моделіне бағыттайтын NeMo Switchyard кітапханасын іске қосты. Бұл кітапхана әзірлеушілерге тиімді әрі басқарылатын агенттер құруға мүмкіндік беріп, инференс шығындарын азайтады. Cloudflare жақында модель маршрутизаторын таныстырды, ал Stripe, The Wall Street Journal мәліметінше, OpenRouter-ді сатып алуды қарастырып жатыр.
NeMo Switchyard-тың іске қосылуы
Nvidia алғашқы модельдерді маршруттау кітапханасы NeMo Switchyard-ті ИИ агенттеріне модельдер жүйесі тәсілін қолдануға көмектесу үшін іске қосты. Кітапхана маршруттаудың бірнеше тәсілін қолдайды және агенттерді тиімдірек әрі басқарылатын етеді. Маршруттау әр сұрауды ең қолайлы модельге — мысалы, дұрыс жауап бере алатын ең арзан модельге — бағыттайды, бұл пайдалану шығындарын азайтады.
Нарықтық қызығушылық
Cloudflare жақында жаңа корпоративтік ИИ құралдары жиынтығы аясында модель маршрутизаторын таныстырды. Төлем компаниясы Stripe, The Wall Street Journal мәліметінше, OpenRouter-ді сатып алуды жоспарлап отыр. Бұл екі қадам ИИ шығындарының өсуі аясында модельдерді маршруттауға инвестициялардың артып келе жатқанын көрсетеді. Компаниялар инфрақұрылымды ИИ қажеттіліктерімен сәйкестендіру барысында маршруттау нұсқаларын мұқият бағалайды деп күтіледі. Nvidia-ның Switchyard-ы Cloudflare маршрутизаторымен және Stripe пен OpenRouter-дің ықтимал бірлестігімен салыстырғанда бәсекеге қабілетті болып қалатыны әзірге белгісіз.
Бұдан әрі
Алдағы айларда компаниялар ИИ инфрақұрылымын оңтайландыру үшін маршруттау құралдарын бағалауды жалғастырады. Nvidia-ның Switchyard-ы Cloudflare маршрутизаторы мен Stripe–OpenRouter ықтимал бірлестігіне қарсы тұра алатыны әзірге белгісіз.
1 дереккөз
Nvidia NeMo Switchyard-ті ИИ модельдерін маршруттау үшін іске қосады
