* 본 원고는 ‘박기범(2022). AI편향과 시민의 자질. 사회과교육, 61(2), 95~106.’ 논문을 수정‧보완한 것임.

 

|| AI는 편향에서 자유로운가?

 

최근 등장한 Chat-GPT와 같은 생성형 AI는 인간의 총체적인 지적 능력을 대신할 수 있는 존재로 알려지며 사회적 반향을 일으키고 있다. AI에 대한 단순한 기대와 두려움을 넘어서 그들과 어떻게 공존해야 하는지에 대한 논의를 확산시키고 있는 것이다. 이제, AI는 인간의 삶에 단순한 도구를 넘어서 동반자이며 환경으로서 존재감을 드러내고 있다.

 

한편, 다양성에 주목하는 21세기 사회에서 AI는 혐오와 차별 없이 다양성을 존중하는가? AI에 대한 막연한 신화를 지닌 사용자들은, AI가 빅데이터 기반으로 학습하고 문제를 해결하기 때문에 인간보다 좀 더 균형 있는 지적 처리와 판단이 가능할 것으로 인식한다. 그러나 AI에 대한 이러한 신뢰는 여러 사례를 통해 반증되고 있다.

 

2016년 마이크로소프트사의 챗봇 ‘Tay’는 사용자들로부터 인종차별과 욕설을 배워 결국 하루도 안 돼 서비스가 중단되었다(한국일보, 2021). 국내에서 개발된 챗봇 이루다는 10~20대 사이에서 빠르게 유행하였는데, 개발사는 실제 연인들이 나눈 대화 데이터를 딥러닝 방식으로 이루다에게 학습시켰다. 그런데 일부 사용자들이 성적 단어를 우회하여 이루다를 성적 노예로 학습시키는 시도를 하였다(연합뉴스, 2021).

 

앞의 사례에서 챗봇 AI의 문제는 AI 학습의 기반이 되는 데이터의 편향이나 오류에서 비롯된다. AI는 빅데이터 기반으로 학습하는데, 데이터 자체가 편향되거나 신뢰할 수 없다면, 그러한 데이터에 기반하여 학습한 AI는 균형 있게 판단할 수 없다.

 

지난 2022년 1월, 네이버 뉴스 알고리즘의 정치적 편향에 대한 이슈가 있었다. 뉴스 알고리즘 검토위원회는 알고리즘이 특정 이념이나 성향을 우대하지는 않지만, 송고된 기사 수, 시점 및 최신성 등의 변수가 뉴스 추천 가능성을 높이기 때문에, 최신 기사를 많이 쏟아내는 언론사가 알고리즘에서 우대받고 있다며 개선을 권고하였다. 이는 결과적으로 규모가 크고 인력과 자원이 풍족한 언론사의 뉴스가 독자에게 노출될 확률이 높다는 것을 의미한다. 검토위원회는 중앙일보, 조선일보 등 온라인 이슈에 충분히 대응할 수 있는 역량을 가진 언론사가 주로 보수적 성향을 가지고 있다면서 “특정 이념 성향의 언론사가 더 많이 노출되도록 설계되어 있지 않아도 이용자 경험 차원에서는 특정 성향 언론사 노출 비중이 상대적으로 높을 수 있다.”고 지적하였다. 따라서 검토위원회는 이러한 상황이 대안·지역 언론에 불이익으로 작용할 수 있기 때문에 개선을 권고하였다(미디어스, 2022). 포털 사이트의 뉴스 추천 알고리즘은 특정 필터링 항목을 설정할 수 있기 때문에 편향성에서 자유로울 수 없다.

 

알고리즘 편향은 알고리즘의 학습 모델과 알고리즘 자체의 설계상의 편향으로 발생하는데, 일반적으로 포털 사이트와 같은 다양한 플랫폼 서비스에 적용되는 추천 시스템(recommender system)에서 나타난다. 이는 플랫폼 개발 및 운영자의 이해에 따라서 사용자의 검색 및 의사결정 데이터와 이력을 토대로 사용자의 만족도를 높이기 위한 구조로 설계된다. 대표적인 추천 시스템은 상품을 추천하는 아마존(Amazon), 영화를 추천하는 넷플릭스(NetFlix), 광고를 추천하는 구글(Google), 동영상을 추천하는 유튜브(YouTube) 등이 있다. 유튜브 사용자의 시청 시간 중 70%가 알고리즘에 의한 결과라고 한다. 유튜브 최고 제품책임자(Chief Product Officer, CPO)인 닐 모한(Neal Mohan)에 의하면 “알고리즘 도입으로 전체 시청 시간이 20배 이상 증가했다”라고 한다. 주목할 점은 이러한 개발 주체의 이익 증대의 이면에는 인종, 성, 경제적 환경, 사회적 지위에 관련된 혐오와 차별에 관련된 데이터 기반의 AI편향 현상이 발생할 수 있다는 것이다. 이는 사용자들을 특정 성향으로 경도되게 할 수 있다.

 

 

|| AI편향의 원인과 필연성

1. AI편향의 원인

인간의 사고와 행위로 발현되는 편향은 다양한 외적 또는 내적 귀인(attribution)에 의해 발생할 수 있다(Gerrig, 2017). 인간의 성향은 개인마다 내부 요인이나 외부 요인에 귀인하는데, 개인의 기질, 성격, 태도 등은 내부 귀인이며 사회적 환경은 외부 귀인으로 볼 수 있다. 이를 AI편향에 투사하면, AI에 내재돼 있는 알고리즘은 AI편향의 내적 귀인으로, 데이터는 AI편향의 외적 귀인으로 볼 수 있다. 챗봇 ’Tay’나 ‘이루다’는 데이터 오염에 따른 편향 사례로서, 외적 귀인이 편향의 원인이 된다고 볼 수 있다. 포털 사이트의 뉴스 추천 AI는 내적 귀인인 알고리즘의 특성이 외부 귀인인 언론사의 특성과 연결되어 편향성이 드러난 혼합 귀인으로 해석할 수 있겠다.

 

결국, AI편향은 내부 귀인으로서 AI자체의 알고리즘과 외부 귀인으로서 수집된 데이터에 의해 발생한다고 볼 수 있으며, 편향은 내적 및 외적 귀인이 독립적 또는 혼재된 형태로 발현된다.

 

2. 편향의 필연성

우리는 AI가 빅데이터 학습을 통해 정답을 제시할 것으로 기대한다. 대량의 데이터에 기반한 AI의 해석과 결정은 신뢰롭다는 믿음을 갖는 것이다. 그러나 AI가 신처럼 완벽할 것이라는 생각은 오히려 인간의 편향일 수 있다. 앞서 언급한 AI편향의 원인을 볼 때, AI는 신처럼 완벽하지 않으며, 오히려 AI의 편향은 인간의 편향처럼 필연적이다. 인간은 사물과 현상을 해석할 때, 자신이 사전에 형성한 사고 체계(schema)에 새로운 자극을 동화(assimilation)시키는 경향이 있다. 스피로(Spiro, 1988)는 이러한 인간의 사고체계를 경직된 스키마(routine schema)로 해석한다. 그리고 그것은 환원적 편향(reductive bias) 현상을 낳으며, 결국 인간의 유연한 사고 활동을 방해한다고 보았다. 그러나 기존에 형성한 사고 체계로 세상을 보고, 환원적 편향 현상을 갖는 것은 필연적일 수 있다. 기존에 형성한 사고 체계를 배제하고 새로운 외부 자극을 읽고 해석하는 것은 불가능하기 때문이다. 따라서 인간의 편향성은 필연적이다. 그렇다면 인간의 생각하기를 모방한 AI의 편향은 필연적일 것이다.

AI편향은 전술한 것처럼 내적 귀인과 외적 귀인에 의해 발생한다. 먼저 외적 귀인으로서 데이터 편향은 데이터의 본질적 특징에 주목할 필요가 있다. 데이터는 인간이 인지하는 모든 삶에서 발생하며, 그 결과 불완전한 인간과 시간이 합작한 데이터는 과거성을 갖는다. 이러한 과거성은 빅데이터로 학습하는 AI편향의 근본적 원인이 될 수 있다. 즉, 시간의 흐름 속에서 인간이 불완전하게 인식하거나 행동한 수많은 결과물이 데이터이기에, 인간의 역사가 편향성을 갖는다면 인간에 의해 발생한 데이터 또한 필연적으로 편향성이 내재될 수밖에 없다.

 

둘째, AI가 직면하는 새로운 과제의 성격이다. 인간과 같이 AI가 부여받는 과제는 과거에는 나타나지 않았던 미증유의 과제이다. 우리가 유사하다고 착각하는 과거와 현재의 현상은 시간과 공간의 영향을 받기 때문에 일치할 수 없다. 그렇다면 현재의 맥락에서 새롭게 주어진 과제는, 과거에 발생한 데이터를 바탕으로, 기존에 형성된 사고 체계(알고리즘)로는 효과적으로 해결될 수 없다. 결국 AI가 현재와 미래에 직면하는 과제 해결은 데이터의 과거성으로 인해 편향성을 드러낼 수밖에 없다. 불완전한 인간에 의해 발생한 데이터의 과거성을 현재와 미래에 직면하는 미증유의 과제에 투영할 수밖에 없기에 AI편향은 필연적인 것이다.

 

 

|| AI편향 시대에 다양성 존중을 위한 시민교육의 방향

 

다양성이 중시되는 21세기 사회에서, 시민은 AI를 완벽한 정보 제공자나 문제 해결자로 인식하기보다는 다양한 관점에서 현상을 해석하고 효과적인 문제해결을 위한 참조 도구로 받아들일 필요가 있다. 나아가 AI편향 문제의 근본적 해결은 완벽한 AI에서 찾기보다는 사용자인 시민의 편향 관련 교육에서 탐색할 필요가 있다. AI편향 시대에 다양성이 존중받는 건강한 사회를 위한 시민교육의 방향을 제시하면 다음과 같다.

 

첫째, 시민의 자질로서 유연한 편향성(flexible bias)이 필요하다.

편향이 고착된 사고의 틀을 의미한다면, 유연한 편향은 자신의 사고 틀과 외부의 현상을 연결하여 자신의 편향을 유연하게 조절할 수 있는 기능과 마음가짐으로 개념화할 수 있다. 유연한 편향성은 자신이 편향됨을 인정하고, 자신의 편향이 주어진 상황 맥락의 이해와 판단에 덜 효과적이라는 인식을 바탕으로 상황에 적합하도록 사고의 틀을 조절하는 것을 의미한다. 편향이 필연적이라면 편향의 대응 방안은 주체적 자아로서 유연한 편향성을 유지하는 것이다.

 

둘째, 시민은 AI에 종속되기보다는 AI를 성찰적으로 활용할 필요가 있다.

이를 위해 시민은 AI의 해석과 결정을 비판적으로 수용해야 한다. 유튜브는 알고리즘을 적용하여 유튜브 사용을 70% 증가시켰는데(중앙일보, 2022), 이는 시민의 흥미와 만족도를 높이는 알고리즘 설계로 가능했을 것이다. 추천 알고리즘은 시민의 편리와 만족도를 높이기도 하지만, 비판적 관점에서 보면 사용자를 AI에 종속시키고 시민의 사고를 특정 결정과 행위에 고착시켜 편향을 심화시킬 수 있다. 최민영(2020)의 연구에 따르면 미디어에 대한 사용자의 비판적 이해 정도와 윤리적 활용 정도에 따라 추천 서비스에 대한 평가 및 이용 의도가 달라진다는 현상을 발견하였다. 이러한 연구 결과는 사용자의 비판적 사고가 자신의 고착된 사고의 틀(routine schema)로 발현되는 편향을 약화시키고, 상황에 관련된 정보와 지식의 연결을 통해 맥락적으로 사고하는 것을 가능하게 함으로써, AI 서비스에 대한 유연한 사고 틀을 유지할 수 있게 한다는 것을 시사한다. 비판적 사고의 발현이 자신의 사고 틀에 대한 반성, 즉 자기 조절 기반의 메타 인지가 발현될 때 가능하다면, AI에 대한 유연한 사고의 틀, 즉 유연한 편향을 유지하기 위한 필요조건은 자기 조절 기반 메타 인지 능력을 함양하는 것이다. 자기 조절 기반 메타인지 능력은 시민이 자신의 편향을 약화시키고, 상황과 결정을 합리적으로 해석할 수 있는 유연한 편향을 유지하고 발현시킬 수 있다.

 

정보화 시대 이후, 디지털 네트워크를 통해 생산된 풍부한 정보는 현상에 대한 사용자의 균형 있는 해석과 합리적 문제 해결에 기여할 것으로 기대하였다. 그러나 인간과 기술이 생산한 다양한 정보는 사용자와 개발자의 요구에 따라 구별되고 반복적으로 제공됨으로써 시민의 편향을 고착시켜 혐오와 차별의 문제를 낳았다. AI가 시민의 삶에 시나브로 영향을 주는 디지털 사회에서, 시민은 자신의 유연한 편향성을 유지하고 AI를 비판적으로 활용해야 한다. 이러한 시민의 자질은 편향에 의해 심화되는 혐오와 차별 현상을 약화시켜 공동체의 건강한 다양성 유지에 기여할 수 있을 것이다.

 

 

<참고문헌>

미디어스(2021). 뉴스 알고리즘의 편향성...http://www.mediaus.co.kr/news/articleView.html?idxno=237791(2022.06.04. 발췌)

박기범(2022). AI편향과 시민의 자질. 사회과교육, 61(2), 95~106.

연합뉴스(2021). 출시 일주일 만에…'20살 AI 여성' 성희롱이 시작됐다...https://view.asiae.co.kr/article/2021051911110807427(2022.06.04. 발췌)

중앙일보(2022). 알고리즘 세상, 비판적으로 수용 ‘디지털 리터러시’ 절실....https://www.joongang.co.kr/article/25047591...(2022.04.02. 발췌)

최민영(2020). 유튜브 추천 동영상 이용에 영향을 미치는 요인 탐구: 미디어 리터러시의 조절효과를 중심으로. 서강대학교 언론대학원 석사논문.

한국일보(2021). AI는 어쩌다 편견과 혐오를 배웠을까...https://www.hankookilbo.com/News/Read/A2021091609460000420?did=NA(2022.06.04. 발췌)

Gerrig, R. J.(2017). 심리학과 삶 (박권생, 박태진, 성현란, 이종한, 최해림, 홍기원 역). 서울: 시그마프레스. 원출판년도 2013. PSYCHOLOGY AND LIFE. Pearson Education.

Spiro, R. J., Coulson, R. L., Feltovich, P. J., & Anderson, D.(1988). Cognitive flexibility theory: Advanced knowledge acquisition in ill-structured domains. Tenth Annual Conference of the Cognitive Science Society(pp. 375-383). Hillsdale, NJ: Lawrence Erlbaum Associates.

원고는 집필자의 전문적 시각으로 작성된 것으로 

교육정책네트워크 및 한국교육개발원의 공식 입장과는 다를 수 있습니다.