Nvidia запускает NeMo Switchyard для маршрутизации моделей ИИ
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
Nvidia запустила NeMo Switchyard — библиотеку для маршрутизации запросов к наиболее подходящей модели ИИ. Библиотека позволяет разработчикам создавать более эффективных и управляемых агентов, снижая расходы на инференс. Cloudflare недавно представила маршрутизатор моделей, а Stripe, по данным The Wall Street Journal, рассматривает покупку OpenRouter.
Запуск NeMo Switchyard
Nvidia запустила первую библиотеку маршрутизации моделей NeMo Switchyard, чтобы помочь разработчикам применять подход системы моделей к ИИ-агентам. Библиотека поддерживает несколько подходов маршрутизации и делает агентов более эффективными и управляемыми. Маршрутизация направляет каждый запрос к самой подходящей модели, например самой дешёвой из способных корректно ответить, снижая эксплуатационные расходы.
Рыночный интерес
Cloudflare недавно представила маршрутизатор моделей в составе нового набора корпоративных ИИ-инструментов. Платёжная компания Stripe, по данным The Wall Street Journal, планирует купить OpenRouter. Эти два шага свидетельствуют о растущих инвестициях в маршрутизацию моделей на фоне роста расходов на ИИ.
Что дальше
Ожидается, что компании будут более внимательно оценивать варианты маршрутизации по мере согласования инфраструктуры с потребностями ИИ. Останется ли Switchyard от Nvidia конкурентоспособным по сравнению с маршрутизатором Cloudflare и возможной комбинацией Stripe и OpenRouter, пока неясно.
1 источник
Nvidia запускает NeMo Switchyard для маршрутизации моделей ИИ
