Коротко: Малі мовні моделі зазвичай є більш компактними та ефективними порівняно з великими моделями (LLM), оскільки вони призначені для роботи на локальному обладнанні або пристроях на межі. Зараз Microsoft презентує ще одну малу мовну модель для Windows 11, оскільки користувачі, ймовірно, потребують деяких порад, що працюють на основі ШІ, щоб знайти специфічні налаштування ОС і налаштувати свій ПК.

Microsoft нещодавно анонсувала Mu — нову малу мовну модель, розроблену для інтеграції з інтерфейсом Windows 11. Mu буде працювати разом із Phi Silica — мовною моделлю, яка була раніше представлена на ПК з Copilot+ — для підтримки функції ШІ-агента в налаштуваннях Windows, яку компанія наразі розробляє.

Як і Phi Silica, Mu працюватиме повністю на нейропроцесорному блоці системи, забезпечуючи відгуки швидше за 100 токенів на секунду, що повинно гарантувати плавний досвід користувача в налаштуваннях.

Microsoft описує Mu як ефективну модель із 330 мільйонами параметрів, оптимізовану для маломасштабних розгортань. Вона побудована на архітектурі трансформера з енкодером-декодером, де енкодер перетворює введення користувача в представлення фіксованої довжини, а декодер генерує вихідні токени з цього представлення.

Після налаштування моделі розробники виявили, що Mu показує продуктивність, що майже порівнянна з Phi-3.5-mini, незважаючи на те, що її розмір складає лише десяту частину від розміру Phi-3.5-mini. Крім того, Microsoft співпрацювала з партнерами-силіконовими компаніями Intel, AMD та Qualcomm, щоб гарантувати, що Mu повністю оптимізована для роботи на локальних машинах, оснащених NPU.

Яка мета всіх цих зусиль з оптимізації? За словами компанії з Редмонда, Mu буде відповідати за новий «агентний» досвід в оновленому додатку налаштувань, посилюваному ШІ. Мета Microsoft полягає в наданні нової функції «чату», що дозволить користувачам Windows задавати питання щодо налаштувань природною мовою і отримувати ефективні відповіді, навіть якщо вони мало знають, що саме шукають.

Агентний ШІ в додатку налаштувань має покращити зручність використання Windows. Microsoft визнала, що розробка малої мовної моделі, здатної обробляти (і змінювати) сотні системних налаштувань, була викликом, і компанія зазначає, що готова приймати відгуки користувачів про нову функцію.

Особисто я ніколи не стикався з проблемами зручності використання або пошуку налаштувань за весь час використання Windows 10, але Microsoft продовжує наполегливо працювати над перетворенням Windows на платформу з фокусом на ШІ.