Research Preview: Computer Use는 현재 macOS에서만 사용 가능한 실험적 기능입니다. Pro 또는 Max 플랜이 필요하며, 동작 방식이나 설정이 향후 변경될 수 있습니다.

목차

개요

Computer Use는 Claude가 실제 macOS 데스크톱을 보고, 클릭하고, 타이핑할 수 있게 해주는 기능입니다. Claude Code Desktop 앱에서 활성화하면, Claude는 화면을 스크린샷으로 확인하고 마우스와 키보드를 제어하여 사용자가 요청한 작업을 수행합니다.

예를 들어, 특정 앱에서 설정을 변경하거나, 웹 페이지에서 정보를 찾거나, 여러 앱을 오가며 작업을 자동화할 수 있습니다. Claude가 기존 도구(Bash, Chrome 등)로 해결할 수 없는 작업에 대해 마지막 수단으로 데스크톱을 직접 조작합니다.

사전 준비

항목 요구사항
플랜 Claude Pro 또는 Max 플랜
운영체제 macOS (Windows/Linux 미지원)
앱 Claude Code Desktop 앱 설치 필요
접근성 권한 macOS 시스템 설정 > 개인정보 보호 및 보안 > 접근성에서 Claude 허용
화면 기록 권한 macOS 시스템 설정 > 개인정보 보호 및 보안 > 화면 기록에서 Claude 허용

활성화 방법

1. Desktop 앱 설정에서 토글 활성화

Claude Code Desktop 앱에서 Settings > Desktop app > General로 이동한 후, Computer Use 토글을 ON으로 전환합니다.

2. macOS 접근성 권한 부여

  1. 시스템 설정을 엽니다.
  2. 개인정보 보호 및 보안 > 접근성으로 이동합니다.
  3. 목록에서 Claude를 찾아 토글을 활성화합니다.
  4. 목록에 Claude가 없으면, + 버튼을 눌러 Applications 폴더에서 Claude를 추가합니다.

3. macOS 화면 기록 권한 부여

  1. 시스템 설정을 엽니다.
  2. 개인정보 보호 및 보안 > 화면 기록으로 이동합니다.
  3. 목록에서 Claude를 찾아 토글을 활성화합니다.
  4. 권한 변경 후 Claude Desktop 앱을 재시작합니다.

접근성 권한은 마우스/키보드 제어에 필요하고, 화면 기록 권한은 스크린샷 캡처에 필요합니다. 두 권한이 모두 부여되어야 Computer Use가 정상 동작합니다.

앱별 권한 체계

Claude는 앱의 특성에 따라 세 가지 권한 수준으로 접근을 제한합니다.

권한 수준 설명 대상 앱 예시
View only 화면을 볼 수만 있고, 클릭이나 입력 불가 웹 브라우저, 트레이딩 앱 등 민감한 정보가 표시되는 앱
Click only 화면 보기와 클릭만 가능, 키보드 입력 불가 터미널, IDE 등 명령어 실행이 가능한 앱
Full control 화면 보기, 클릭, 키보드 입력 모두 가능 위 두 범주에 해당하지 않는 일반 앱

이 권한 체계는 Claude가 민감한 앱에서 의도치 않은 조작을 수행하는 것을 방지하기 위한 안전장치입니다.

도구 우선순위

Claude는 작업을 수행할 때 가장 효율적이고 안전한 도구를 먼저 사용하며, Computer Use는 다른 방법으로 해결할 수 없을 때 최후의 수단으로 사용합니다.

우선순위 도구 설명
1순위 Connector MCP 서버, 플러그인 등 직접 통합된 도구
2순위 Bash 셸 명령어로 해결 가능한 작업
3순위 Chrome 웹 브라우저 조작이 필요한 작업
4순위 Computer Use 위 도구들로 해결할 수 없는 경우에만 사용

예를 들어, 파일을 생성하는 작업은 Bash 명령어로 처리하고, 웹에서 정보를 검색하는 작업은 Chrome 도구로 처리합니다. Figma에서 디자인을 확인하는 것처럼 전용 도구가 없는 경우에만 Computer Use가 동작합니다.

사용 방법

앱 첫 사용 시 세션별 승인

Claude가 특정 앱에 처음 접근하려고 하면, 사용자에게 승인을 요청합니다. 이 승인은 현재 세션에서만 유효하며, 새 세션을 시작하면 다시 승인해야 합니다.

  • Terminal, Finder, System Settings 등 시스템 핵심 앱에 접근할 때는 추가 경고가 표시됩니다.
  • 승인 후 Claude는 해당 앱의 권한 수준(View only/Click only/Full control) 범위 내에서만 조작합니다.

Dispatch 모드와 30분 제한

Computer Use는 Dispatch 모드에서도 활용할 수 있습니다. Dispatch 모드에서는 최대 30분 동안 자율적으로 작업을 수행합니다. 30분이 경과하면 작업이 일시 중지되며, 사용자가 확인한 후 계속 진행할 수 있습니다.

Denied Apps (앱 거부)

특정 앱에 대해 접근을 거부하면, 해당 세션 동안 Claude는 그 앱에 접근하지 않습니다. 필요한 경우 새 세션에서 다시 승인할 수 있습니다.

작업 중 창 숨김 및 복원

Claude가 Computer Use로 작업하는 동안, 조작 대상 앱의 창이 화면 전면에 표시됩니다. 작업이 완료되면 설정에 따라 앱 창이 자동으로 숨겨집니다.

  • Unhide apps when Claude finishes 옵션이 활성화되어 있으면, Claude가 작업을 마친 후 사용자가 이전에 사용하던 앱을 다시 전면에 복원합니다.

주의사항 및 보안

실제 데스크톱에 대한 접근 Computer Use는 가상 환경이 아닌 사용자의 실제 macOS 데스크톱에서 동작합니다. Claude가 수행하는 모든 클릭과 입력은 실제 시스템에 반영됩니다. 중요한 파일을 다루거나 시스템 설정을 변경하는 작업은 반드시 사전에 내용을 확인한 후 승인하세요.
샌드박스 Bash와의 차이점 일반 Bash 도구는 샌드박스 환경에서 실행되어 시스템에 미치는 영향이 제한적입니다. 반면 Computer Use는 데스크톱 전체에 접근할 수 있으므로, 파일 삭제, 앱 설치, 시스템 설정 변경 등 광범위한 조작이 가능합니다. 이 차이를 인지하고 승인 시 주의를 기울이세요.
프롬프트 인젝션 경고 Computer Use 중 Claude가 화면에 표시된 텍스트를 읽을 수 있습니다. 악의적인 웹 페이지나 문서에 숨겨진 지시문(프롬프트 인젝션)이 포함되어 있을 경우, Claude가 의도치 않은 동작을 수행할 수 있습니다. 신뢰할 수 없는 웹사이트나 문서를 다룰 때는 각별히 주의하세요.
민감한 정보 노출 주의 Claude가 화면을 캡처하므로, 비밀번호 관리자, 금융 앱, 개인 메시지 등 민감한 정보가 화면에 표시되어 있으면 Claude가 이를 읽을 수 있습니다. Computer Use 작업 전에 민감한 정보가 표시된 창을 닫아두는 것을 권장합니다.

트러블슈팅

문제 해결 방법
Computer Use 토글이 보이지 않음 Claude Code Desktop 앱을 최신 버전으로 업데이트하고, Pro 또는 Max 플랜인지 확인
접근성 권한 요청이 나타나지 않음 시스템 설정 > 개인정보 보호 및 보안 > 접근성에서 Claude를 수동으로 추가
화면 기록 권한 부여 후에도 동작하지 않음 Claude Desktop 앱을 완전히 종료 후 재시작 (권한 변경 후 재시작 필요)
Claude가 화면을 보지 못함 화면 기록 권한이 정상적으로 부여되었는지 확인하고, 시스템 설정에서 토글이 켜져 있는지 재확인
클릭이나 타이핑이 동작하지 않음 접근성 권한이 정상적으로 부여되었는지 확인
특정 앱에서 View only로만 동작함 해당 앱이 민감한 앱으로 분류되어 권한이 제한된 것이므로 정상 동작
Dispatch 모드에서 30분 후 중단됨 안전을 위한 제한 시간이므로 정상 동작. 확인 후 작업을 이어서 진행 가능
앱 승인 팝업이 나타나지 않음 Computer Use 토글이 ON인지 확인하고, Claude Desktop 앱을 재시작
macOS 권한 설정에서 Claude가 목록에 없음 접근성 또는 화면 기록 목록에서 + 버튼을 눌러 Applications 폴더의 Claude를 직접 추가
작업 완료 후 창이 복원되지 않음 Settings > Desktop app에서 Unhide apps when Claude finishes 옵션 활성화 확인

참고 자료