Meta Smart Glass — English Assistant

워홀로 외국 나가있는 한국인을 위한 웨어러블 영어 어시스턴트. 글래스로 간판·메뉴·앞에 있는 사물을 보면 실시간으로 라벨링·번역·문장 제안을 띄움 — 손 안 쓰고, 조용히.

무엇을 하는가 (Phase 1, 진행 중)

• Scan & translate — 카메라로 인쇄된 글자 보면 글래스 display에 번역 오버레이.
• Live camera scan — 연속 객체 인식; 보고 있는 게 뭔지 모델이 라벨링.
• Look (object labeling) — point-at-something 워크플로: 탭으로 프레임 잠그고 영어 라벨 + 예문 받음.
• Suggest endpoint — 대화 중에 막혔을 때 "다음에 뭐라고 하지" 맥락-aware 제안.
• iPhone bridge — 글래스 ↔ BLE ↔ iOS 앱 ↔ HTTPS ↔ 백엔드 ↔ LLM; 폰이 뇌, 글래스가 surface.

아키텍처

[Meta Ray-Ban Display] <-BLE-> [iPhone 앱] <-HTTPS-> [Bun 백엔드] -> [Gemini 2.5 Flash]

Meta Wearables SDK 승인 대기 동안 Mock Device Kit이 실제 글래스 자리에 대신 들어가 있어서, iOS + 백엔드 경로는 글래스 없이도 전체 검증 가능.

왜 만드는가

워홀 비자로 한국에서 토론토로 넘어온 뒤, 주변 한국인들에게서 똑같은 마찰을 봄: 집에서 영어 읽는 것과 현장에서 영어 쓰는 것은 다른 근육이다 — 카운터 앞, 버스 안, 즉흥 대화 중. 손과 시선이 다른 데 가있는 그 순간 전통 앱은 안 도와줌. 글래스는 가능함.

아직 안 한 것

• Display SDK 접근 아직 없음. Phase 1은 Mock Device Kit 위 검증 프로토타입. 실제 글래스 통합은 Phase 2.
• 온디바이스 추론 없음. LLM 호출은 네트워크 너머 Gemini로 — 검증해야 할 레이턴시 목표지 숨겨진 제약은 아님.
• 프라이버시 경계 미정. 어떤 오디오/비디오가 기기 밖으로 나가는지, 무엇이 보존되는지, 무엇이 redact되는지 — 로드맵 다음 페이지의 설계 결정이지 v1에 없음.

상태

Phase 1 — Validation. 백엔드 엔드포인트 + iOS 스캐폴드 + Mock Device Kit으로 4개 유저 플로 동작. 다음: 실제 글래스 프로토타입, 레이턴시 예산, 프라이버시 모델.