AI 시대에 맞춘 마우스 포인터의 진화: 문맥을 이해하는 인터페이스 공개

구글 연구진 아드리앙 바라네스(Adrien Baranes)와 롭 마치컨(Rob Marchant)은 2026년 5월 12일 블로그를 통해 AI 시대에 맞춰 마우스 포인터를 재설계하는 연구 방향과 실험적 데모를 공개했다.

지난 50여 년간 마우스 포인터는 화면 위의 위치만을 추적하는 도구로 머물러 있었으나, 새로운 AI 기반 포인터는 사용자가 가리키는 대상뿐만 아니라 그 대상이 지닌 의미와 문맥까지 이해하는 기능을 목표로 한다.

기존의 대다수 AI 툴은 독립된 창 형태로 존재하여 사용자가 작업 중인 내용을 따로 끌어와야 하는 번거로움이 있었다. 구글의 새로운 접근 방식은 별도의 AI 창으로 이동하는 우회로를 없애고 사용자가 작업하는 모든 애플리케이션 위에서 곧바로 AI와 협업할 수 있도록 지원한다.

이번에 제시된 상호작용 원칙은 네 가지로 구성된다. 첫째, 사용자의 작업 흐름을 유지(Maintain the flow)하여 여러 앱을 오가지 않도록 한다. 둘째, 보고 말하기(Show and tell)를 통해 포인터 주변의 시각적·의미적 문맥을 컴퓨터가 파악하게 만든다. 셋째, 지시대명사 활용(Embrace the power of "This" and "That")을 통해 길고 복잡한 프롬프트 작성 없이 자연스러운 단축 표현으로 소통한다. 넷째, 픽셀을 실행 가능한 개체(Turn pixels into actionable entities)로 변환해 단순한 이미지를 대화형 투두 리스트나 예약 링크 등으로 바꾼다.

구체적인 동작 예시로, 사용자는 PDF 파일 위에서 포인터로 요약본을 요청해 이메일에 바로 붙여넣거나, 통계 표를 가리키며 원형 차트로 변환해 달라고 요구할 수 있다. 또한 이미지나 동영상 속 특정 지점을 가리키며 길 찾기나 인테리어 가구 배치 시뮬레이션을 실행할 수 있다.

구글은 이러한 상호작용 원칙을 실제 제품에 적용하기 시작했다. 크롬(Chrome) 브라우저에서는 복잡한 프롬프트 작성 대신 포인터로 웹페이지의 특정 부분을 가리키며 제미나이(Gemini)에게 상품 비교나 인테리어 시각화를 요청할 수 있다. 이어 새로운 구글북(Googlebook) 노트북 경험에는 매직 포인터(Magic Pointer) 기능이 곧 도입될 예정이다.

이 밖에도 구글은 구글 랩스(Google Labs)의 디스코(Disco)를 비롯한 여러 플랫폼에서 미래의 콘셉트를 지속해서 테스트하고 있으며, 구글 AI 스튜디오(Google AI Studio)에서 이미지 편집이나 지도 장소 찾기 등의 실험적 데모를 체험할 수 있도록 제공하고 있다.