ИИ Copilot Vision від Microsoft навчився «бачити» екран і допомагати в додатках

ИИ Copilot Vision від Microsoft навчився «бачити» екран і допомагати в додатках
Microsoft почала тестування нової функції Copilot Vision для операційної системи Windows, яка надає штучному інтелекту можливість «бачити» вміст екрану користувача і надавати допомогу при роботі з різними застосунками. Раніше ця функція була доступна лише в браузері Edge.

Copilot Vision від Microsoft: інноваційний штучний інтелект для роботи з екраном

Copilot Vision дозволяє штучному інтелекту, зокрема, допомагати користувачам у застосунках, таких як Adobe Photoshop, виокремлюючи необхідні елементи на екрані або виконуючи аналіз фотографій та веб-сторінок. Ця функція була протестована на закритій демонстрації до 50-річчя Microsoft, де журналіст Тому Уоррену з The Verge вдалося оцінити роботу Copilot Vision в Minecraft та під час налаштування параметрів відеоредактора Clipchamp.

Скриншот роботи Copilot Vision у Photoshop
Скриншот: Microsoft

Хоча функція вже інтегрована в інсайдерську версію Windows, на даний момент її можуть протестувати лише користувачі з США. Візуальні підказки, які з’являються на екрані, поки що вимкнені, але будуть доступні в наступних оновленнях. В цілому, Copilot Vision нагадує демонстрацію екрану під час відеоконференцій, однак без участі іншої особи.

Крім того, Microsoft розпочала тестування функції пошуку файлів через Copilot. Тепер користувачі можуть ставити штучному інтелекту запитання про вміст документів, що зберігаються на комп’ютері. Підтримуються формати .docx, .xlsx, .pptx, .txt, .pdf та .json.

Інтерфейс пошуку файлів через Copilot
Скриншот: Microsoft

Це нововведення є частиною глобальних зусиль Microsoft з інтеграції штучного інтелекту в усі аспекти користувацького досвіду. Компанія планує продовжувати вдосконалення Copilot Vision та інші функції, пов’язані з AI, щоб зробити взаємодію з комп’ютерами ще більш інтуїтивною та ефективною.