Исследователи DeepMind предложили подход Pointer Engineering, при котором курсор мыши становится главным элементом передачи контекста ИИ. Идея в том, чтобы пользователю не приходилось переносить данные в отдельное окно сервиса: система должна сама учитывать визуальный и смысловой контекст вокруг указателя.
Авторы концепции Адриен Баранес и Роб Марчант пишут: «Поскольку типичный ИИ-инструмент живёт в собственном окне, пользователям приходится перетаскивать в него свой контент. Мы хотим обратного». По их замыслу, указатель на базе Gemini сможет понимать окружение курсора и работать с короткими командами вроде «Исправь это» или «Перемести это сюда», а также с голосом и жестами.
По описанию DeepMind, пиксели на экране могут превращаться в структурированные сущности — например, в места, даты или объекты. В этом случае рукописная заметка может стать интерактивным списком задач, а остановленный кадр видео — ссылкой для бронирования.
Часть этих принципов уже внедряют в Gemini в Chrome. Пользователь может выделить фрагмент веб-страницы и сразу задать вопрос по нему. На будущем устройстве Googlebook эта функция должна выйти под названием Magic Pointer.
При этом подход не отменяет prompt engineering: для более сложных задач по-прежнему нужны точные текстовые инструкции. Другие инструменты уже используют скриншоты или нарисованные маркеры, например красные стрелки в редакторах изображений и видео, которые помогают привязать запрос к нужному элементу.
В материале отмечается, что решение DeepMind в первую очередь упрощает короткие повседневные сценарии в формате чата и снижает объём действий, нужных для передачи контекста модели.
Источник: The Decoder.
