Sep 1, 2026

CS231n Lecture 18 - Human-Centered AI

핵심 한 줄 정리

Human-centered AI는 단순히 인간과 같은 시각 능력을 만드는 데서 끝나지 않고, 인간이 놓치는 정보를 보완하면서도 편향과 개인정보 보호를 다루고, 최종적으로는 인간이 실제로 원하고 가치 있다고 판단한 일을 안전하게 돕도록 AI의 목표와 평가 기준을 설계하는 관점이다.

중요 개념 정리

Human-centered AI를 보는 세 가지 관점

Computer vision은 오랫동안 인간의 시각 능력을 재현하는 문제로 발전해 왔다. 그러나 모델의 성능이 높아질수록 단순히 무엇을 인식할 수 있는지만으로는 충분하지 않다. 무엇을 보게 할 것인지, 무엇을 보지 않아야 하는지, 그 결과가 누구에게 어떤 영향을 주는지까지 함께 고려해야 한다.

강의에서는 이 흐름을 세 가지 질문으로 나누었다.

AI가 인간이 보는 것을 어떻게 볼 수 있는가?
AI가 인간이 보지 못하거나 놓치는 것을 어떻게 보완할 수 있는가?
AI가 인간이 실제로 보고 싶고 도움받고 싶은 것을 어떻게 지원할 수 있는가?

세 관점은 각각 성능 향상의 단계를 뜻하는 것이 아니다. 인간의 능력을 모방하는 문제, 인간의 한계를 보완하는 문제, 인간의 가치와 선호에 맞추는 문제를 함께 놓고 보는 틀이다.

관점	핵심 질문	대표 사례
인간이 보는 것을 보는 AI	시각적 의미를 어떻게 인식하는가?	object recognition, scene graph, image captioning
인간이 못 보는 것을 보는 AI	인간의 능력과 주의 한계를 어떻게 보완하는가?	fine-grained recognition, 수술 도구 추적, ambient sensing
인간이 원하는 것을 보는 AI	어떤 문제를 누구를 위해 풀 것인가?	assistive healthcare, human-preference benchmark, robotics

Visual intelligence는 perception에서 action으로 이어진다

Vision은 외부 세계의 상태를 파악하는 감각이다. 생물의 관점에서는 단순히 장면을 묘사하기 위한 기능이 아니라, 생존을 위해 다음 행동을 결정하는 수단이다. 따라서 visual intelligence의 최종 목적도 이미지의 label 하나를 출력하는 데 머물지 않는다.

\text{perception} \rightarrow \text{understanding} \rightarrow \text{decision} \rightarrow \text{action}

이 흐름은 computer vision이 object recognition에서 scene understanding으로, 다시 embodied AI와 robotics로 확장되는 이유를 보여준다. 앞 단계에서 잘못 해석한 정보는 뒤의 의사결정과 행동에 그대로 전달되므로, 모델의 정확도뿐 아니라 실제 사용 환경에서의 위험도 함께 평가해야 한다.

인간의 빠른 시각 인식 능력

인간은 처음 보는 복잡한 장면에서도 매우 짧은 시간 안에 물체를 찾고 범주를 판단한다. 강의에서 소개한 실험에서는 비디오를 $10\text{ Hz}$ 로 제시해 frame 하나가 약 $100\text{ ms}$ 만 보이더라도 사람을 찾아낼 수 있었다.

10\text{ Hz} \Rightarrow \frac{1}{10}\text{ s} = 100\text{ ms/frame}

EEG를 이용한 연구에서도 복잡한 이미지가 제시된 뒤 약 $150\text{ ms}$ 만에 동물과 비동물 범주를 구분하는 뇌 신호가 관찰되었다. 이 속도는 인간 시각계가 물체 수준의 정보를 매우 빠르게 추출한다는 뜻이다.

또한 human visual cortex에는 얼굴, 장소, 신체와 같은 특정 범주에 선택적으로 반응하는 영역이 알려져 있다. Object recognition이 computer vision의 초기 핵심 문제로 자리 잡은 것도 이러한 cognitive science와 neuroscience의 관찰에서 큰 영향을 받았기 때문이다.

Object recognition이 어려운 이유

인간에게는 물체의 이름을 말하는 일이 자연스럽지만, 픽셀에서 범주로 가는 mapping은 매우 복잡하다. 같은 물체라도 다음 요소가 바뀌면 pixel representation은 크게 달라진다.

조명
질감
배경
occlusion
시점
크기
deformation

즉, 입력 이미지 $x$ 와 범주 $y$ 사이의 관계는 간단한 규칙으로 표현하기 어렵다.

f_\theta(x) = \hat{y}

모델은 다양한 nuisance variation가 존재해도 같은 semantic category를 유지하는 representation을 학습해야 한다.

Parts-based model에서 statistical learning으로

초기의 object recognition은 물체를 미리 정의한 기하학적 부품의 조합으로 표현하려 했다. 예를 들어 원기둥, edge, contour 같은 부품을 검출하고 그 배치를 조합해 물체를 인식하는 방식이다.

이 접근은 해석하기 쉽고 구조적으로 아름답지만, 실제 이미지의 변화를 사람이 작성한 규칙만으로 감당하기 어려웠다. 이후 statistical machine learning은 모델 parameter를 데이터에서 학습하는 방향으로 전환했다.

\theta^* = \arg\min_\theta \sum_{i=1}^{N} \mathcal{L}\left(f_\theta(x_i),y_i\right)

이 시기에는 support vector machine, Bayesian network, random field와 같은 모델이 사용되었다. 중요한 변화는 어떤 feature와 규칙이 맞는지 전부 사람이 지정하는 대신, 라벨이 있는 데이터로부터 decision boundary의 parameter를 학습하기 시작했다는 점이다.

Data, compute, neural network의 결합

인간이 인식할 수 있는 시각적 범주 수는 매우 크다. 강의에서는 Irving Biederman의 추정을 바탕으로, 어린이도 약 $30{,}000$ 에서 $100{,}000$ 개의 시각적 범주를 구분할 수 있다는 관점을 소개했다. 당시 benchmark의 작은 클래스 수와 데이터셋 규모만으로는 이 다양성을 다루기 어려웠다.

ImageNet은 약 $22{,}000$ 개 클래스와 $1{,}500$ 만 장 이상의 이미지를 모아 이 규모의 간극을 줄이려 했다. 이후 대규모 데이터, GPU compute, convolutional neural network가 결합하면서 object recognition 성능이 크게 향상되었다.

\text{large-scale data} + \text{compute} + \text{neural network} \Rightarrow \text{modern deep learning}

핵심은 architecture 하나만의 승리가 아니다. 충분한 데이터, 이를 처리할 compute, 데이터에서 representation을 학습할 모델이 같은 시점에 결합했기 때문에 가능했다.

Object label만으로는 scene을 이해할 수 없다

같은 person과 llama가 등장하는 두 이미지라도 둘의 관계가 다르면 장면의 의미는 완전히 달라진다. 따라서 물체 집합만으로는 scene semantics를 충분히 표현하지 못한다.

\text{scene understanding} \neq \{\text{object labels}\}

Scene understanding에는 다음 정보가 필요하다.

어떤 개체가 존재하는가?
각 개체는 어떤 속성을 갖는가?
개체 사이에 어떤 관계가 있는가?
어떤 행동과 사건이 진행 중인가?
다음에는 무엇이 일어날 가능성이 높은가?

Scene graph

Scene graph는 물체를 node로, 물체 사이의 관계를 edge로 표현한다.

G = (V,E)

$V$ 는 person, horse, hat과 같은 개체이고, $E$ 는 riding, wearing, on과 같은 관계이다. 속성도 물체와 연결된 관계로 표현할 수 있다.

예를 들어 다음과 같은 triplet을 만들 수 있다.

(\text{person},\ \text{riding},\ \text{horse})

(\text{person},\ \text{wearing},\ \text{hat})

Scene graph의 장점은 관계를 compositional하게 재사용할 수 있다는 점이다. person riding horse와 person wearing hat을 충분히 학습했다면, 학습 데이터에서 드물었던 horse wearing hat도 개체와 관계의 새로운 조합으로 표현할 수 있다.

비슷하게 person sitting on chair와 fire hydrant on field가 흔하더라도 person sitting on fire hydrant는 드물다. Scene graph는 흔한 구성 요소를 조합해 이런 흔치 않은 관계를 zero-shot으로 다룰 가능성을 만든다.

Captioning은 graph를 natural language로 확장한다

Scene graph는 구조화된 관계를 잘 표현하지만, 이미지 전체의 맥락과 이야기를 자연스럽게 전달하기에는 제한이 있다. Image captioning은 visual representation에서 단어 시퀀스를 생성해 장면을 언어로 설명한다.

p(y_{1:T}\mid x) = \prod_{t=1}^{T} p(y_t\mid y_{<t},x)

$x$ 는 이미지이고 $y_{1:T}$ 는 caption token sequence이다. 초기에는 CNN image encoder와 LSTM language decoder의 조합이 사용되었고, 이후 multimodal transformer와 multimodal language model로 확장되었다.

Dense captioning은 이미지 전체에 caption 하나를 붙이는 대신, 여러 영역을 찾아 각 영역의 설명을 생성한다. 물체, 관계, 언어가 하나의 visual understanding pipeline으로 연결되는 형태이다.

Dynamic scene understanding

비디오에서는 정지 이미지보다 관계가 복잡하다. 여러 행위자와 물체가 움직이고, 카메라 자체도 움직이며, 행동이 시간에 따라 이어진다.

x_{1:T} \rightarrow \{\text{entities},\text{relations},\text{activities}\}_{1:T}

이때 필요한 것은 frame별 object detection만이 아니다.

동일한 개체를 시간에 따라 추적해야 한다.
여러 행위자의 상호작용을 해석해야 한다.
행동의 시작과 끝을 구분해야 한다.
현재 맥락에서 다음 사건을 예측해야 한다.

일상 환경에서 작동하는 로봇은 바로 이 문제를 풀어야 한다. 주변 사람이 무엇을 하고 있고, 물체가 어떻게 이동하며, 로봇의 행동이 누구에게 영향을 주는지를 지속적으로 이해해야 하기 때문이다.

인간보다 더 세밀하게 보는 AI

AI가 인간의 시각 능력을 복제하는 데서 끝날 필요는 없다. 사람 한 명이 구분하기 어려운 매우 많은 범주를 일관되게 비교하는 fine-grained recognition은 AI가 인간의 능력을 확장할 수 있는 대표적인 영역이다.

Fine-grained classification은 상위 범주가 같은 대상 안에서 작은 차이를 구분한다.

\text{bird} \rightarrow \text{species}

\text{car} \rightarrow (\text{make},\text{model},\text{year})

클래스 사이의 시각적 차이는 작고, 같은 클래스 안의 pose와 배경 변화는 클 수 있어 일반적인 classification보다 어렵다. 강의의 bird recognition 실험에서도 상위 범주에서는 오류가 낮아지지만 species-level로 내려갈수록 오류가 커졌다.

Visual recognition을 사회의 lens로 사용할 때의 주의점

강의에서는 Google Street View 이미지의 자동차를 제조사, 차종, 연식 수준으로 분류하고, 도시별 자동차 분포를 교육, 소득, 투표, 환경 패턴과 비교한 사례를 소개했다. 사람이 수작업으로 처리하기 어려운 규모의 시각 데이터에서 사회적 패턴을 찾은 예이다.

그러나 상관관계는 인과관계가 아니다.

p(a,b) \neq p(a\mid \operatorname{do}(b))

자동차 분포가 어떤 사회 지표와 함께 변한다고 해서 자동차가 그 지표의 원인이라는 뜻은 아니다. 이미지 출처의 지역별 수집 범위, 촬영 시점, detection 오류, 지역의 대표성도 결과에 영향을 준다. Human-centered analysis에서는 모델 정확도뿐 아니라 데이터가 누구와 어떤 지역을 대표하는지도 확인해야 한다.

Human attention의 한계

인간의 시각은 강력하지만 모든 정보를 동일하게 처리하지 않는다. 주의력은 제한된 자원이고, 과제와 prior에 따라 일부 정보가 선택된다.

Stroop test에서는 색을 나타내는 단어의 의미와 글자 색이 충돌할 때 색을 말하는 속도가 느려진다. 자동화된 단어 읽기가 색 이름을 말하는 과제를 방해하기 때문이다.

Change blindness에서는 두 이미지 사이에 비교적 큰 변화가 있어도 중간에 시야가 끊기거나 주의가 분산되면 변화를 쉽게 놓친다. 강의의 예에서는 항공기 엔진의 변화가 반복해서 이미지를 보고도 바로 눈에 띄지 않았다.

이 사례들이 보여주는 핵심은 인간이 부주의하다는 것이 아니다. 인간의 주의력은 선택적이며, 반복적 감시나 많은 물체를 지속적으로 세는 작업에서는 구조적인 한계가 있다는 점이다.

AI는 human attention을 보완할 수 있다

수술실에서는 거즈, 봉합 바늘과 같은 작은 물품이 모두 회수되었는지 확인해야 한다. 사람이 체크리스트로 추적하다가 수량이 맞지 않으면 수술을 멈추고 물품을 찾아야 하며, 강의 사례에서는 이 과정이 평균적으로 한 시간 가까이 걸릴 수 있다고 설명했다.

Computer vision은 장면을 지속적으로 관찰하면서 물품의 등장, 사용, 회수를 기록할 수 있다.

c_t(k) = c_{t-1}(k) + \operatorname{in}_t(k) - \operatorname{out}_t(k)

$c_t(k)$ 는 시각 $t$ 까지 추적한 물품 $k$ 의 수량이다. 실제 시스템에서는 occlusion, 중복 검출, tracking identity switch를 처리해야 하므로 단순한 개수 세기보다 어렵다. 또한 강의의 demonstration은 가능성을 보여준 것이며, 바로 임상 배포 가능한 완성형 시스템을 뜻하지 않는다.

Human bias와 AI bias

인간 시각계에는 세계의 일반적인 조명과 그림자를 가정하는 perceptual prior가 있다. Checker-shadow illusion에서 실제 휘도가 같은 두 영역을 다르게 보는 것도 맥락과 prior가 perception을 바꾸기 때문이다.

AI 역시 데이터와 설계을 통해 편향을 갖는다.

학습 데이터의 구성 불균형
label과 annotation의 편향
센서와 이미지 품질의 차이
목적함수가 놓친 비용
deployment 환경과 학습 분포의 차이
기존 사회 구조를 반영한 proxy feature

과거 face recognition 시스템이 피부색이나 성별 집단에 따라 다른 오류율을 보인 사례처럼, 전체 정확도가 높아도 특정 집단에 오류가 집중될 수 있다.

Aggregate accuracy만 보면 subgroup failure를 놓친다

집단 $g$ 의 오류율을 다음과 같이 계산할 수 있다.

\operatorname{Err}_g = \frac{1}{N_g} \sum_{i:g_i=g} \mathbb{1} \left[ f_\theta(x_i) \neq y_i \right]

집단 사이의 단순 오류율 차이는 다음과 같다.

\Delta_{\text{group}} = \max_g \operatorname{Err}_g - \min_g \operatorname{Err}_g

다만 이 값 하나만으로 공정성을 완전히 정의할 수는 없다. 의료 진단에서는 false negative의 비용이 매우 클 수 있고, access control에서는 false positive의 의미가 다를 수 있다. 따라서 작업에 따라 sensitivity, specificity, false positive rate, false negative rate를 집단별로 나누어 봐야 한다.

Human-centered evaluation은 평균 성능 뒤에 숨은 실패 분포를 확인하는 과정이다.

AI가 보지 않아야 하는 정보

AI가 더 많이 볼 수 있다고 해서 모든 정보를 수집해야 하는 것은 아니다. 의료나 가정 모니터링에서는 환자 안전을 위해 활동을 이해해야 하지만, 얼굴과 사적인 생활 공간을 그대로 저장하는 것은 불필요한 개인정보 침해 위험이 될 수 있다.

이 문제는 단순히 정확도와 개인정보 보호 중 하나를 고르는 문제가 아니다. 작업에 필요한 정보만 남기는 representation을 설계해야 한다.

z = g(x)

$x$ 는 원본 센서 데이터이고 $z$ 는 모델이 실제 작업에 사용하는 representation이다. 좋은 $z$ 는 목표 활동 $y$ 를 예측하는 정보는 유지하면서 개인의 신원이나 얼굴 같은 민감한 속성 $s$ 에 관한 정보는 줄여야 한다.

이를 개념적으로 다음과 같이 볼 수 있다.

\max_g \left[ U\bigl(y,g(x)\bigr) - \lambda I\bigl(g(x);s\bigr) \right]

$U$ 는 작업 효용이고 $I(g(x);s)$ 는 representation에 남은 민감한 정보를 나타낸다. $\lambda$ 는 개인정보 보호를 얼마나 강하게 우선할지 조정한다.

Privacy-preserving vision의 여러 층

강의에서는 다음과 같은 방법을 소개했다.

얼굴과 신체를 blur하거나 mask하는 visual redaction
원본 이미지 대신 lower-dimensional representation 사용
RGB 대신 depth나 열 감지 센서 사용
원본 데이터를 중앙 서버로 보내지 않는 federated learning
저장과 전송 단계의 암호화
필요한 신호만 통과시키는 광학 하드웨어 설계

각 방법은 보호하는 정보와 남기는 효용이 다르다. 예를 들어 blur가 강하면 개인의 신원은 가릴 수 있지만 신체 움직임도 사라져 action recognition이 어려워질 수 있다.

Hardware와 software를 함께 설계하는 privacy

강의에서 소개한 action recognition 연구는 사람의 얼굴과 신체 세부 정보를 감추면서 움직임 정보는 남기기 위해 특수 렌즈와 인식 소프트웨어를 함께 설계했다. 일반 카메라로 선명한 이미지를 먼저 수집한 뒤 blur하는 방식과 달리, 센서 단계부터 민감한 개인정보가 기록되지 않게 한다.

x_{\text{world}} \xrightarrow{\text{privacy-aware optics}} z_{\text{sensor}} \xrightarrow{\text{recognition model}} \hat{y}_{\text{activity}}

이 방식은 개인정보 보호를 후처리 옵션이 아니라 sensing pipeline 자체의 제약으로 취급한다. 원본을 애초에 만들지 않으면 유출될 원본 정보도 줄어든다.

Human-centered AI의 목표는 replacement보다 augmentation이다

AI가 노동에 미치는 영향은 단순하지 않다. 일부 업무는 자동화되거나 바뀌지만, 의료와 노인 돌봄처럼 수요에 비해 사람이 부족한 분야도 있다. 이런 환경에서는 AI를 사람의 역할 전체를 대체하는 시스템보다 부족한 눈, 귀, 손을 보완하는 도구로 설계할 수 있다.

\text{human capability} + \text{AI capability} > \text{either alone}

Augmentation 관점에서는 다음 질문이 중요하다.

사람이 반복적으로 놓치는 정보는 무엇인가?
AI의 알림을 누가 언제 확인하는가?
잘못된 알림과 놓친 사건의 비용은 각각 얼마인가?
AI가 실패할 때 사람이 개입할 수 있는가?
업무 부담이 실제로 줄어드는가, 아니면 새로운 확인 업무가 생기는가?

Ambient intelligence for healthcare

Ambient intelligence는 환경에 설치된 센서와 machine learning을 결합해 사람이 별도로 장치를 조작하지 않아도 건강과 관련된 사건을 관찰하는 방식이다.

\text{ambient sensors} \rightarrow \text{event recognition} \rightarrow \text{clinical signal} \rightarrow \text{human intervention}

목적은 환자를 감시하는 것 자체가 아니라, 필요한 순간에 환자, 돌봄 제공자, 간호사, 의사가 행동할 수 있는 신호를 제공하는 것이다.

Hand hygiene monitoring

병원 내 감염을 줄이려면 병실에 들어가고 나올 때 손 위생이 지켜지는지 확인해야 한다. 감사 담당자는 모든 방과 시간을 지속적으로 관찰할 수 없고, RFID 배지는 사람이 세면대나 손 소독제 근처에 있었다는 것만 알려줄 뿐 실제로 손을 씻었는지는 보장하지 않는다.

강의 사례에서는 RGB 이미지 대신 깊이 정보를 수집하는 센서와 action classifier를 사용했다.

\text{depth sequence} \rightarrow f_\theta \rightarrow \{\text{washing},\text{not washing}\}

알고리즘은 동일한 비디오를 본 개별 관찰자보다 더 일관된 검출을 보였고, 여러 사람의 판단을 모아야 비슷한 관찰 범위를 얻을 수 있었다. 이 사례는 AI가 임상 판단을 대신했다기보다, 사람이 지속적으로 수행하기 어려운 관찰 작업을 보완한 예이다.

ICU mobilization monitoring

중환자실 환자의 적절한 움직임은 회복에 중요하지만, 움직임의 시점과 방식은 안전하게 관리되어야 한다. 강의에서는 다음 네 사건을 센서로 구분하는 사례를 소개했다.

침대에서 내려오기
침대에 올라가기
의자에서 일어나기
의자에 앉기

이 정보는 환자 이동이 처방대로 이루어졌는지 확인하고 의료진이 환자의 활동 패턴을 이해하는 데 도움을 줄 수 있다. 다만 사건 검출 결과은 임상 맥락과 결합되어야 하며, 움직임만 보고 환자의 회복 상태를 단정할 수는 없다.

Aging in place

많은 고령자는 가능한 오래 자신의 집에서 독립적으로 생활하기를 원한다. Ambient sensor는 다음과 같은 변화를 장기간 관찰할 수 있다.

열 신호를 이용한 감염 징후
이동 능력 변화
수면 패턴
식사 패턴
낙상이나 평소와 다른 비활동 상태

여기에서도 핵심은 데이터를 최대한 많이 모으는 것이 아니다. 필요한 건강 신호를 얻으면서 거주자의 자율성과 개인정보 보호를 지키는 것이 시스템 설계의 일부이다.

Sensing만으로 해결되지 않는 문제

Ambient system은 정보를 수집하고 알림을 줄 수 있지만 물을 가져오거나, 약을 전달하거나, 환자의 자세를 바꾸지는 못한다. 물리적인 도움이 필요한 순간에는 perception과 action을 연결해야 한다.

o_t \rightarrow \text{perception} \rightarrow \text{planning} \rightarrow a_t \rightarrow o_{t+1}

이 closed loop가 embodied AI와 robotics의 핵심이다. 로봇은 한 번의 이미지를 분류하는 대신 자신의 action으로 환경을 바꾸고 그 결과를 다시 관찰한다.

Open-world robot instruction

기존 로봇 시스템은 미리 정의한 물체와 작업이 있는 closed world에서는 잘 작동할 수 있지만, 실제 집과 병원에서는 처음 보는 물체와 표현이 계속 등장한다. 강의의 연구 사례는 LLM과 vision-language model을 이용해 open instruction을 motion planning으로 연결했다.

전체 pipeline은 다음과 같다.

\text{language instruction} \xrightarrow{\text{LLM}} \text{subgoal or code} \xrightarrow{\text{VLM}} \text{visual grounding} \xrightarrow{} \text{spatial motion map} \xrightarrow{} \text{robot action}

예를 들어 instruction이 open the top drawer, but avoid the vase라면 다음 두 제약이 필요하다.

top drawer와 handle을 찾아 접근해야 한다.
vase가 있는 영역은 충돌 비용이 높은 공간으로 표시해야 한다.

이를 positive affordance map $M^+$ 와 negative constraint map $M^-$ 로 표현할 수 있다.

M = M^+ - \alpha M^-

$M^+$ 는 gripper가 향해야 할 위치이고 $M^-$ 는 피해야 할 위치이다. Motion planner는 이 map을 사용해 위치, gripper rotation, 속도를 포함한 trajectory를 만든다.

LLM과 VLM은 open-vocabulary generalization을 제공하지만, 실제 안전성은 motion planner와 센서 feedback을 포함한 전체 시스템에서 보장해야 한다. Language model의 instruction 해석이 틀리면 잘못된 물체를 grounding하거나 위험한 경로를 만들 수 있기 때문이다.

기술적으로 가능한 task가 바람직한 task는 아니다

로봇이 어떤 작업을 수행할 수 있다는 사실과 사람이 그 작업을 맡기고 싶다는 사실은 다르다. 바닥 청소나 눈 치우기는 많은 사람이 로봇의 도움을 원할 수 있지만, 선물 열기나 결혼반지 구매처럼 정서적 의미가 큰 작업은 자동화를 원하지 않을 수 있다. 아기용 시리얼을 섞는 일처럼 안전성과 신뢰가 중요한 작업도 선호가 다를 수 있다.

\text{technical feasibility} \neq \text{human desirability}

따라서 로봇 benchmark의 작업 목록를 연구자가 임의로 정하는 것만으로는 부족하다. 실제 사용자가 무엇을 부담스럽게 느끼고 어디에 도움을 원하는지 조사해야 한다.

Human preference로 benchmark task를 선택하기

BEHAVIOR 프로젝트는 미국과 유럽의 노동 조사에서 일상 활동 후보를 모으고, 약 $1{,}400$ 명의 응답자에게 로봇이 어떤 일을 도와주기를 원하는지 물었다. 이를 바탕으로 일상적인 가사 활동 약 $1{,}000$ 개를 정리했다.

응답에서는 화장실과 바닥를 포함한 청소 작업에 대한 선호가 높았고, 스쿼시 대신 하기, 결혼반지 구매, 선물 열기와 같은 작업에 대한 선호는 낮았다. 이 차이는 benchmark가 물리적 난도만 측정해서는 안 된다는 점을 보여준다.

작업 선택은 최소한 다음 요소를 함께 봐야 한다.

사용자 수요
신체적·인지적 부담
안전 위험
정서적·사회적 의미
실현 가능성
영향을 받는 이해관계자

Ecological robot benchmark

실제 가정 환경은 물체가 다양하고, 작업이 길며, 여러 물리 현상이 함께 나타난다. BEHAVIOR benchmark는 이런 복잡성을 시뮬레이션에 포함하려 했다.

강의에서 소개한 구성은 다음과 같다.

식당, 아파트, 식료품점, 사무실 등을 포함한 $50$ 개의 실제 환경
articulation과 deformability 속성을 가진 $10{,}000$ 개 이상의 3D 물체 asset
약 $1{,}000$ 개의 사람이 선호하는 일상 작업
천, 액체, 투명도, 열 특성 등을 고려한 물리 현상
perception과 interaction을 함께 평가하는 ecological setting

좋은 로봇 benchmark는 visual realism만 높으면 되는 것이 아니다.

\text{benchmark realism} = \text{perceptual} + \text{physical} + \text{interactive} + \text{ecological}

물체가 그럴듯하게 보이는지뿐 아니라 잡히고, 접히고, 쏟아지고, 다른 물체와 충돌하는 방식도 실제와 가까워야 한다.

Privileged information이 benchmark 결과를 바꾼다

로봇 알고리즘을 비교할 때 무엇을 입력으로 제공했는지 반드시 확인해야 한다. 물체의 완벽한 pose, 완벽한 memory, collision-free magic motion과 같은 privileged information을 주면 작업이 크게 쉬워진다.

\pi \left( a_t \mid o_{\le t}, z_{\text{privileged}} \right)

실제 deployment에서는 $z_{\text{privileged}}$ 를 얻을 수 없는 경우가 많다. 강의에서 소개한 세 BEHAVIOR 작업 실험에서는 privileged information 없이 현재 로봇 알고리즘을 평가했을 때 성공률이 $0$ 이었고, 완벽한 memory나 단순화한 움직임 같은 가정을 추가할수록 성능이 올라갔다.

이 결과는 benchmark가 어려워서 무의미하다는 뜻이 아니다. 실제 문제와 알고리즘의 능력 사이에 남은 간극을 드러낸다는 점이 중요하다.

Simulation, digital twin, real-to-sim gap

시뮬레이션은 반복 가능하고 안전한 평가를 제공하지만, 실제 세계의 모든 특성을 복제할 수는 없다. Digital twin은 동일하거나 유사한 작업을 가상 환경과 실제 환경에 구성해 둘 사이의 차이를 측정하려는 방법이다.

\Delta_{\text{sim-real}} = \left| J_{\text{real}}(\pi) - J_{\text{sim}}(\pi) \right|

$J(\pi)$ 는 policy $\pi$ 의 작업 성능이다. $\Delta_{\text{sim-real}}$ 이 작을수록 시뮬레이션 평가가 실제 환경의 행동을 잘 예측한다.

그러나 visual appearance뿐 아니라 마찰, deformability, sensor noise, 물체 배치, 사람과의 상호작용까지 차이가 생길 수 있다. 시뮬레이션 점수만으로 실제 환경에서 사용할 준비가 되었는지를 단정해서는 안 된다.

Failure를 숨기지 않는 evaluation

가정용 로봇은 느리게 움직이거나 병을 집지 못하고, 물체를 잘못된 위치에 놓을 수 있다. 성공 비디오 몇 개만 보여주면 이런 실패 빈도를 알 수 없다.

로봇 평가에는 다음 정보가 함께 필요하다.

전체 시도 수와 success rate
부분 완료 정도
실패 유형
작업 완료 시간
collision과 위험한 행동
사람의 개입 횟수
처음 보는 환경에서의 generalization

Human-centered benchmark는 최고 성능만 보여주는 것이 아니라, 실제 사용자가 경험하게 될 failure mode를 드러내야 한다.

Non-invasive brain-computer interface와 assistive robotics

강의의 마지막 사례에서는 EEG cap으로 측정한 전기적 뇌 신호를 로봇 명령에 연결했다. 사용자가 생각만으로 임의의 자연어 instruction을 바로 전달한 것은 아니다. lift, place, drop과 같이 미리 정의하고 학습한 생각으로 전달하는 명령을 분류한 뒤 로봇 행동에 mapping한 방식이다.

\text{EEG signal} \xrightarrow{f_\theta} \text{pretrained command} \xrightarrow{\text{robot controller}} \text{action}

이 구분은 중요하다. 시연의 가능성을 과장해 제약 없는 생각 읽기로 해석해서는 안 된다. 현재의 제한된 명령 어휘와 calibration 요구사항을 인정하면서도, 심한 마비가 있는 사람에게 새로운 제어 채널을 제공할 가능성이 있다는 점에서 의미가 있다.

Human-centered system objective

일반적인 machine learning은 예측 손실을 최소화한다.

\theta^* = \arg\min_\theta \mathcal{L}_{\text{task}}(\theta)

Human-centered AI에서는 작업 성능 외에도 위험, 공정성, 개인정보 보호, 업무 부담과 같은 요소가 실제 목적함수에 포함된다.

\theta^* = \arg\min_\theta \left[ \mathcal{L}_{\text{task}} + \lambda_r \mathcal{R}_{\text{risk}} + \lambda_f \mathcal{R}_{\text{fairness}} + \lambda_p \mathcal{R}_{\text{privacy}} + \lambda_w \mathcal{R}_{\text{workload}} \right]

실제 시스템이 이 항들을 모두 하나의 미분 가능한 손실로 학습한다는 뜻은 아니다. 일부는 데이터셋 구성, 하드웨어 선택, 접근 정책, 사람의 업무 흐름, 배포 규칙, 사후 검토로 구현된다. 중요한 것은 이러한 제약을 모델 학습이 끝난 뒤 덧붙이는 부가 기능으로 보지 않는 것이다.

Human-centered AI의 평가 단위는 model이 아니라 system이다

같은 classifier도 어디에 배치되고 누가 출력을 사용하는지에 따라 영향이 달라진다.

\text{AI system} = \text{model} + \text{data} + \text{sensor} + \text{interface} + \text{human workflow} + \text{institution}

예를 들어 손 위생 classifier의 validation accuracy가 높더라도 알림이 너무 잦아 간호사가 무시한다면 시스템은 실패한 것이다. 반대로 예측이 완벽하지 않아도 불확실한 경우 사람의 검토로 넘기고 업무 부담을 줄일 수 있다면 실질적인 도움이 될 수 있다.

Human-in-the-loop의 역할

Human-in-the-loop는 단순히 AI가 못 하는 일을 사람이 대신하는 구조가 아니다. AI와 사람이 서로 다른 강점을 맡도록 업무 흐름을 설계하는 것이다.

AI는 반복적 모니터링과 대규모 패턴 검출을 맡는다.
사람은 모호한 상황, 가치 판단, 예외 처리를 맡는다.
AI는 confidence와 근거를 제공한다.
사람은 수정을 남겨 시스템 개선에 사용한다.
위험도가 높은 행동에는 승인과 수동으로 제어를 넘겨받는 경로를 둔다.

Uncertainty가 높은 샘플을 사람이 검토하는 구조는 다음과 같이 표현할 수 있다.

\text{decision}(x) = \begin{cases} f_\theta(x), & \operatorname{conf}(x) \ge \tau \\ \text{human review}, & \operatorname{conf}(x) < \tau \end{cases}

$\tau$ 는 자동화와 검토 업무 부담 사이의 trade-off를 조정하는 임계값이다.

전체 흐름 정리

Human-centered computer vision의 흐름은 다음과 같이 정리할 수 있다.

인간의 시각에서 영감을 받아 object recognition 문제를 정의했다.
Parts-based rule에서 statistical learning으로, 다시 large-scale deep learning으로 발전했다.
물체의 label을 넘어 관계, caption, 시간에 따라 변하는 활동를 이해하는 방향으로 확장했다.
Fine-grained recognition과 지속적인 관찰로 인간의 능력과 주의력을 보완할 수 있게 되었다.
동시에 하위 집단의 편향과 개인정보 유출이 새로운 시스템 위험으로 드러났다.
의료에서는 ambient intelligence가 부족한 관찰 인력을 보완할 수 있다.
물리적인 도움까지 가려면 perception과 action을 연결한 embodied AI가 필요하다.
로봇 작업은 기술자만 정하는 것이 아니라 human preference에서 출발해야 한다.
Ecological benchmark는 현실적인 perception, 물리 현상, interaction과 실패를 함께 평가해야 한다.
최종 목표는 AI가 인간을 대체한다는 추상적인 구호가 아니라, 인간이 가치 있다고 판단한 능력을 안전하게 확장하는 것이다.

과제에서 확인할 것

Scene graph의 구성

물체를 node로, 관계를 edge로 표현하고 흔치 않은 관계가 compositional zero-shot generalization으로 이어지는 과정을 확인한다.

Caption probability

Image-conditioned autoregressive captioning의 $p(y_{1:T}\mid x)$ 가 token별 조건부 확률의 곱으로 분해되는지 확인한다.

Group-wise evaluation

전체 정확도가 같아도 집단별 false positive rate와 false negative rate가 다를 수 있음을 작은 confusion matrix로 계산해 본다.

Privacy와 utility의 trade-off

RGB, blurred RGB, depth, pose keypoint를 입력으로 쓸 때 action recognition utility와 identity leakage가 어떻게 달라지는지 비교한다.

Ambient sensing pipeline

센서 출력이 곧바로 임상 판단이 되는 것이 아니라 사건 검출, 알림, 사람의 검토를 거쳐 개입으로 이어지는지 구분한다.

Open-world robot pipeline

LLM의 instruction decomposition, VLM의 visual grounding, positive and negative motion map, low-level planner의 역할을 각각 구분한다.

Human preference와 technical feasibility

로봇이 수행 가능한 작업과 사람이 로봇에게 맡기고 싶은 작업이 왜 다를 수 있는지 청소, 선물 열기, 결혼반지 사례로 확인한다.

Privileged information

완벽한 pose, 완벽한 memory, magic motion을 제공한 benchmark 점수와 원본 센서 데이터만 제공한 점수를 직접 비교할 때 무엇이 공정한 조건인지 확인한다.

Sim-to-real evaluation

시뮬레이션의 visual realism뿐 아니라 물리 현상, sensor noise, 작업 완료 시간, 사람의 개입과 안전성 관련 실패도 실제 환경의 결과와 비교한다.

Human-centered objective

예측 정확도가 높아져도 개인정보 보호, 공정성, 업무 부담, 안전성이 악화될 수 있음을 확인하고 모델 지표와 시스템 수준의 결과을 구분한다.