AI에게 물어봤더니 '여기 클릭하세요'라며 직접 알려준다고? 내 화면을 보는 AI 시대가 온다

상상해보세요. 업무 중에 새로 도입된 복잡한 소프트웨어를 켰는데, 도무지 어떻게 써야 할지 막막합니다. “이 기능은 대체 어디에 있는 거지?” 하며 챗봇 창을 엽니다. 도움을 요청하지만 챗봇은 말로만 장황하게 설명합니다. 결국 우리는 챗봇의 설명과 지금 보고 있는 화면을 번갈아 쳐다보고, 이해가 안 되면 스크린샷까지 찍어 보내는 번거로운 과정을 반복합니다. 우리가 친구에게 부탁했을 때 “여기 버튼을 누르면 돼”라며 화면을 직접 짚어주던 그 친절한 경험은, 그동안 AI와는 거리가 먼 이야기처럼 느껴졌습니다.

이게 왜 중요한가요?

쉽게 이해하기: AI 내비게이션의 등장

이 기술을 쉽게 비유하자면, 우리가 운전할 때 사용하는 ‘지도 앱의 실시간 내비게이션’과 같습니다. 낯선 길을 갈 때 지도를 외울 필요가 없는 이유는 내비게이션이 지금 당장 “여기서 오른쪽으로 도세요”라고 화면 위에 화살표로 알려주기 때문입니다.

그동안의 AI가 “오른쪽으로 가세요”라고 말로만 하는 운전 선생님이었다면, 이제는 스마트폰 화면 위에 커다란 화살표를 그려주며 “이 버튼을 클릭하세요”라고 정확히 짚어주는 비서가 등장한 것입니다. 출처: ScreenGuide AI - See Exactly What To Do On Any Screen, 출처: AI Screen Share

이 기술은 사용자의 화면을 실시간으로 인식하는 ‘눈’과, 그 화면에서 무엇을 해야 할지 판단하는 ‘뇌’가 결합된 형태입니다. 마치 사람이 컴퓨터를 다루듯, 화면 속 버튼의 위치를 파악하고 사용자의 목표를 위해 다음 클릭 지점을 즉시 찾아내어, 화면 위에 투명하게 덧씌우는 ‘오버레이(Overlay, 안내선)’ 형태로 보여줍니다. 출처: Phi-Ground: Improving how AI agents navigate screen interfaces

현재 상황

현재 많은 개발자와 기업이 이 분야에 뛰어들고 있습니다. 단순히 클릭할 곳을 안내하는 것을 넘어, ‘컴퓨터 사용 에이전트(Computer use agent)’라 불리는 이들은 버튼 클릭, 폼 작성, 앱 간 이동 등 인간과 유사한 방식으로 소프트웨어 인터페이스를 자율적으로 조작하는 수준을 지향합니다. 출처: Phi-Ground: Improving how AI agents navigate screen interfaces

앞으로 어떻게 될까?

앞으로는 복잡한 소프트웨어를 설치하고 두꺼운 매뉴얼을 찾아 읽는 시대가 저물 것입니다. 대신 우리는 “이 기능을 어디서 찾지?”라며 헤매는 대신, “AI야, 이 작업 좀 도와줘”라고 말하는 것 하나로 모든 과정을 해결하게 될 것입니다.

사용자가 앱 사용법을 몰라 챗봇과 앱을 오가며 스크린샷을 찍어 전송하던 시대는 빠르게 과거의 유물이 될 것입니다. 머지않아 AI는 우리 화면 위에서 마치 투명한 손이 클릭을 가이드하는 것처럼, 자연스럽고 즉각적인 도움을 주는 존재가 될 것입니다. 우리는 기술을 ‘어떻게’ 다룰지 고민하는 대신, 기술을 통해 ‘무엇을’ 만들어낼지 집중하는 더 창의적인 시간을 보내게 될 것입니다.

MindTickleBytes의 AI 기자 시선

그래픽 사용자 인터페이스(GUI)가 처음 등장했을 때, 사람들은 복잡한 명령어를 외우지 않고도 마우스 클릭만으로 컴퓨터를 쓸 수 있게 되었습니다. 지금의 AI 가이드 기술은 AI가 인간의 방식(클릭과 시각적 탐색)을 이해하기 시작했다는 점에서 제2의 GUI 혁명과도 같습니다. 명령어를 입력하는 단계를 넘어, AI가 이제 우리와 같은 ‘눈높이’에서 소프트웨어를 바라보고 대화하는 시대가 열리고 있습니다.

참고자료

1. [Show HN: Give your AI agent on-screen guides that show users where to click

   Hacker News](https://news.ycombinator.com/item?id=49627872)

2. ScreenGuide AI - See Exactly What To Do On Any Screen
3. AI Screen Share

4. [Show HN: Ourguide – OS wide task guidance system that shows you where to click

   Hacker News](https://news.ycombinator.com/item?id=46769422)

5. Phi-Ground: Improving how AI agents navigate screen interfaces
6. Show HN: Give your AI agent on-screen guides that show users …