예측 가능성과
확신 불가능성 사이에서
심규하

메트로놈의 박자는 일정하며 예측 가능하다. 흐트러지지 않는 정박의 반복을 위해 만들어진 발명품이기 때문이다. 메트로놈이 만들어진 이유는 엇박이 늘 인간의 몫이라서다. 우리는 우리의 박자감을 신뢰하지 못한다. 인간은 어느새 느려지고, 빨라지고, 멈췄다가는 급히 달려 나간다. 정작 그 사실을 깨닫지도 못할 때가 많다. 인지 불가능한 엇박을 탈까 두려운 우리는 예측 가능한 정박에 기댄다. 예측 가능성은 정확하고, 효율적이고, 생산적이다. 우리는 가능한 한 확실하게, 의도한 대로, 그래야 하는 대로 일이 흘러가기를 바란다.
그 일환으로, 컴퓨터는 치밀한 계산기로서 발명되었다. 실수도, 오류도, 일체의 비생산성이 없는 것으로. 복잡한 산수와 암호를 해독하기 위해 만들어진, 모든 불확실성을 제거하는 기기. 때문에 프로그래밍 과정에서 상수 대신 변수를 설정하고 우연을 실험하는 일은 확실성으로의 직선거리를 포기하는 선택처럼 보인다. 그러나 정박의 예측 가능성이 엇박의 불확실성을 대체하진 않는다. 코드를 다루며 예측 가능성과 불확실성, 개입과 양보, 나의 것과 타인의 것 사이에서 창작하는 컴퓨테이셔널 디자이너 심규하와 인터뷰했다.

컴퓨테이셔널 디자인

작년 2학기에 미술원 디자인과 교수로 부임하신 심규하 교수님은 컴퓨테이셔널 디자이너로 활동하고 계신데요. 컴퓨테이셔널 디자인이 무엇인지에 대해 설명 부탁드립니다.

가장 간단하게 설명해 드리면 관찰을 통해 패턴을 인지하고 시스템을 만드는 것, 다양한 경우의 수를 추상화 과정을 통해 기계적으로 연산 가능한 카테고리들로 구성하는 방법론입니다. 프로세스로 규칙과 패턴을 찾거나 만드는 거죠. 그래서 코드를 이용한 컴퓨테이셔널 디자인은 마치 지도 만드는 거랑 비슷해요. 우리가 어떤 곳에 가서 산이 있는 곳, 물이 있는 곳, 거리를 직접 관찰하고 데이터를 수집하여 카테고리화하고 시각화하는 규칙을 만들잖아요. 그리고 축척이나 투사를 고려해서 지도로 옮기잖아요. 그런데 이 과정을 인간이 수기로 하는 것이 아니라 컴퓨터가 데이터를 활용해 자동으로 결과물을 생성할 수 있도록 하는 거예요. 데이터와 시각 결과물 사이의 관계를 코드로 프로그래밍하고 새로운 데이터 인풋이 있어도 컴퓨터가 자동으로 결과물을 생성할 수 있게요.

그래서 컴퓨터와 디자이너의 관계가 흥미로워지죠. 보통 기성 소프트웨어 도구를 이용해서 디자이너가 직접 저작하잖아요. 그래서 저작물과 아티스트의 관계가 직접적이었어요. 그렇지만 컴퓨테이셔널 디자인에서는 디자이너가 직접 결과물 하나하나를 만드는 것이 아니라 컴퓨터가 기계적으로 수행할 수 있는 규칙이나 형식을 만들어요. 물론 저작을 했지만, 실제 최종 결과물이 생성되는 과정에 디자이너의 손이 다시 닿지 않을 수도 있어요. 다른 외부 데이터나 사용자, 참여자의 인풋으로부터 영향을 받거나 알고리즘의 랜덤한 요인에 따라 자동 생성되기도 하면서요. 그러므로 창작자와 창작물의 관계가 상대적으로 간접적이라 볼 수 있죠. 시스템을 제가 디자인했기 때문에 어떤 결과물이 나올지 대략적인 패턴을 유추할 수 있지만, 구체적으로 어떤 결과물이 나올지는 모르니까요.

코드를 이용해 디자인하기 시작한 계기는 무엇인가요?

2000년대 초반 제가 학생 때, 요즘에는 좀 사라졌는데, 올 플래시 웹사이트라고, 플래시라는 툴을 이용해 만든 영상 기반 인터랙티브 웹사이트가 많이 유행했었거든요. 그때 플래시에서 액션스크립트(ActionScript)라는 언어를 이용해서 영상이랑 모션을 만드는 작업을 많이 했었고요. 개인 작업에서 컴퓨테이셔널 디자인을 본격적으로 사용하기 시작한 건 정보 시각화를 하면서부터였어요. 저는 석사 논문으로 대기 오염을 일으키는 먼지 데이터를 시각, 청각, 촉각 등의 감각으로 표현하는 작업1을 했는데, 그 작업을 할 때 코드가 전반적으로 다 필요했던 거죠. 제가 하는 작업을 제너러티브(generative) 디자인이라고 해요. 외부에서 오는 데이터가 시스템 안으로 들어가면 알고리즘을 거쳐 결과물이 생성되는데, 사용자의 관점에서 봤을 때는 자신의 인풋에 따라서 시스템이 반응해 결과물을 나타내는 상호작용이 있게 되는 거예요. 날씨, 핸드폰 사용량, 교통 정보 등의 실시간 데이터를 받아서 다양한 결과물을 낼 수 있죠. 이렇게 인풋 데이터와 아웃풋인 시각적 결과물이 매핑돼있는 것을 데이터 비쥬얼라이제이션(data visualization)이라고도 해요.

1
심규하 디자이너의 홈페이지 참고 visibleco.kyuhashim.com

작업 스타일에 영향을 준 예술가나 서적이 있을까요?

가장 키(key)가 됐던 책은 칼 거스트너(Karl Gerstner)의 『Designing Programmes』에요. 그런데 이 책에 코드는 한 줄도 없어요. 그렇지만 이 책에는 찍은 사진을 분류하고 재정렬하여 새로운 이미지를 만들거나 그리드에 변주를 주어 도안을 만들거나 하는 예제들이 들어있어요. 마치 프로그래밍하는 것처럼 전체를 여러 하위 기준들로 구성하고, 각 기준은 다시 각각의 변수들로 구성되어 있어 상황에 맞추어 조건들을 선택하고 조합하는 구조적 시각을 키울 수 있는 것이지요. 거스트너는 프로그램을 만들 때 가장 중요한 것이 “The act of selection”이라고 했어요. 정의한 제약 안에서 최대한의 다양한 가능성을 찾는 선택을 한다는 뜻이에요. 그리고 네덜란드 얀 반 에이크 아카데미에 있을 적에는 거스트너 말고도 60년대의 그래픽 디자이너들, 요셉 뮐러 브로크만(Josef Müller-Brockmann)의 책 『Grid Systems in Graphic Design』, 아민 호프만(Armin Hofmann)의 『Graphic Design Manual: Principles and Practice』 그리고 빔 크라우벨(Wim Crouwel)과 유리안 스로퍼르(Jurriaan Schrofer)의 작업들을 연구하고 많은 영향을 받았어요. 컴퓨터 프로그래밍을 사용하지는 않았지만, 유사한 방식으로 시스템을 디자인하는 그들의 접근법에 관심이 있었어요.

개입하기 v.s. 맡기기

컴퓨테이셔널 디자이너는 내가 만들어 낸 것과 다른 사람이 만들어 낸 것, 그리고 내가 타인의 것을 이용하는 것과 다른 사람이 나의 것을 이용하는 것, 컴퓨터로 자동화하는 것과 직접 개입해 조정하는 것. 이 사이에서 균형을 잡는 게 필수적인 것 같아요. 그 사이에서 자신의 디자인을 확립하려면 어느 정도까지 역할을 해야 할까요?

제가 생각할 때 그 적절한 지점은 개인마다 달라요. 본인이 생각했을 때 이만큼은 알고리즘을 만들어서 추상화할 수 있지만, 그 이상 컴퓨테이셔널 미디움을 사용하는 것이 구속으로 느껴지면 그 선에서 멈추는 것이 현명하죠.

가령, 제가 디자인한 MIT Press의 『Code as Creative Medium』의 경우 “95%에서 98%는 코드로 자동화 했고 나머지 해결하기 어려운 부분은 인간 디자이너가 보정했습니다”라고, 많이 얘기를 하는데요. 사실은 코드로 조금 더 큰 비중의 작업(task)을 자동화하려고 했어요. 근데 프로젝트 데드라인, 진행 상황 등을 고려했을 때 ‘소요되는 노동에 비해 결과물에 큰 차이가 없겠다’란 판단이 들었어요. 이 프로젝트에서 재미있는 점은 MIT Press의 출판 관계자, 편집자, 저자, 디자이너 모두 이 제작 프로세스를 믿고 지지해 주었다는 점이에요. 아마도 처음부터 인간과 기계가 협업할 수 있는 과정을 디자인했기 때문이라고 생각해요. 그냥 프로세싱(Processing)이나 자바스크립트(Java Script) 이런 거를 이용해서 여러 페이지의 결과물을 만드는 건 간단해요. 그런데 그렇게 책을 만들면 사람이 컴퓨터가 만들어 낸 결과물에서 어색한 부분이 있어도 수정하기가 까다로워요. 반면 이 책을 디자인할 때는 어도비 인디자인 내에서 구동되는 스크립트를 썼거든요. 그래서 협업했던 디자이너들이 컴퓨터가 생성한 결과물의 세부적인 부분을 수정할 수 있었어요. 즉 컴퓨테이션을 사용한 목표가 그저 완전 자동화는 아니었던 것이죠.

맡기는 것을 목표로 하지만 개입을 포기하지도 않는 것이군요. 컴퓨테이셔널 디자인에서 디자이너에게 중요한 관점은 무엇 있을까요?

이런 컴퓨테이셔널 디자인, 제너러티브 아트/디자인이라는 커뮤니티가 활성화되는 동안 다양한 앱/플랫폼의 데이터 서비스도 확산되기 시작했어요. 이제는 여러 서비스에서 수많은 데이터를 수집해 제공해요. 그렇기 때문에 주어진 데이터를 잘 시각화하는 것도 중요하지만, 그와 더불어서 ‘어떤 데이터 레이어를 결합해서 어떤 새로운 맥락과 메시지를 만들어 낼 수 있을까’하는 역할이 디자이너에게 더 중요해졌죠. 특히 가변적인 실시간 데이터를 작업에 사용할 때는 그 패턴을 보는 시각이 필요해요. 그런 실험과 시도를 하기 위해 전제되는 게 ‘절차적인 문해력(Procedural Literacy)’과 ‘데이터 문해력(Data Literacy)’이에요. 그래서 작년 디자인과 예술사 입시 문제로 데이터 문해력에 관련된 문제를 출제했는데, 너무 난해했던 것 같아서 수험생들에게 미안한 마음이었어요.

디자이너가 결과물을 디자인하는 것뿐만 아니라 작업에 사용할 데이터를 판단하고 분석, 해독하는 것부터 작업이 시작된다는 말씀이죠? 듣다 보니 타인의 것이 공유되면서 더 많은 사람이 자신의 창작물을 만들 수 있게 되는 동시에, 그 시스템을 최초로 구축하는 전문성은 더 고도화되어 가는 아이러니가 있는 것 같아요.

컴퓨테이셔널 디자인에는 이처럼 함께 협력해서 개발하고 소스 코드를 공유하는 오픈 소스 문화에 영향을 받은 작업이 많아요. 아트와 디자인처럼 창의적인 분야에서도 코드를 미디엄으로 쓰면서 그런 문화가 깊게 자리 잡았어요. 그런데 컴퓨테이셔널 디자인에서 ‘타인의 것을 사용한다’는 부분은 다른 창작 매체에서 타인의 창작물로부터 조형적 영감을 받아 작업하는 것과는 차이가 있어요. 알고리즘을 보면 저자가 어떤 논리로 사고했는지 그 구조와 과정을 파악할 수 있기 때문이에요. 최근 10년간 제가 한 프로젝트들을 돌아보면, 제너러티브 시스템을 디자인하면서 클라이언트, 디자이너, 사용자들 사이의 관계를 탐구하는 작업들이 대부분이에요. 그런데 요즘 트렌디한 생성형 AI 같은 경우에 기술이 빠르게 고도화되다 보니 직접 처음부터 끝까지 하는 것이 불가능해요. 그래서 이런 인공지능 기술이 필요한 상황에 그냥 기성 모델(예: GPT, Teachable Machine, Lobe)을 제너러티브 시스템에서 호출해 쓰고 있어요.

가변적으로 작업하기

코딩을 하다보면 많은 계산과 조정의 시간이 필요할 것 같은데요. 수정과 조정의 과정에서 마주친 오류나 엇나간 결과물들이 있으실까요?

가끔 자동실행을 켜놓고 코드를 작성하다 보면 실수로 무한반복이 진행돼 컴퓨터가 멈추는 경우가 있어요. 작성한 코드가 통째로 날아가는 경우도 있죠. 근데 또 어떤 경우는 수학 공식(가령, 들로네와 보로노이의 삼각분할이나 세포 자동자)을 썼을 때, 어느 정도 결과물을 알지만 머리 속에서 완벽하게 시뮬레이션하거나 조율이 안 될 때도 있어요. 정확하게 맞아떨어지지 않던 경우에 오히려 예상하지 못했던 패턴이 나왔던 경우도 있죠. 마치 세런디피티2처럼, ‘어? 괜찮네?’ 하는 경우가 생기는 거예요. 그래서 마우스나 키보드를 사용해서 변수에 다양한 값을 입력할 수 있는 도구, 시뮬레이션용 소프트웨어 툴을 만들어요. 패턴을 머릿속에서 상상하기 어려울 때 시뮬레이션 도구를 만들어서 이런저런 상황을 빠르게 살피고 적절한지 판단하는 거예요. 그러면서 규칙도 다듬고 매개변수(파라미터) 값이나 범위도 조정하고 세부적인 방향을 찾아가며 디자인을 발전시켜요.

2
serendipity, 완전한 우연이나 실패의 결과로부터 중대한 발견이나 발명이 이뤄지는 것