반도체 산업 기술 동향에 관심이 있다면 요즘 많이 접할 수밖에 없는 용어가 HBM(high bandwidth memory)이다. 우리말로는 ‘고대역폭 메모리’인데, 속도가 매우 빠른 반도체 기억소자다.

컴퓨터가 하는 일이 인간의 두뇌가 하는 일과 비슷하다고 보면 컴퓨터에서도 기억장치인 메모리가 필요하다는 것은 쉽게 알 수 있다. 좀더 자세히 들여다보면 이른바 폰노이만 구조의 컴퓨터는 메모리와 연산기로 구성되고, 연산기가 더하고 곱하는 데이터뿐만 아니라 연산기가 할 일을 알려주는 명령도 메모리에 저장된다.

연산기는 명령과 데이터를 메모리로부터 가져와서 연산을 수행한 후 다시 메모리에 저장한다. 따라서 연산기의 성능이 좋아지면 메모리에서 데이터를 가져오는 속도도 빨라져야 한다.

현재 컴퓨터에 사용되는 메모리 중에서 가장 느린 것은 하드디스크(HDD) 인데 속도가 초당 200MB 정도로, 고해상도 영화 한편을 옮기는데 10초 정도 걸린다. 물론 이는 최대값이고 실제 사용시의 체감속도는 훨씬 떨어진다. HDD는 속도가 느린 대신 값싸게 많은 데이터를 저장할 수 있다.

최근 HDD를 대체하면서 주류가 되고 있는 SSD(solid state drive)는 HDD보다 수십배 빠른 속도를 자랑한다. HDD가 달린 컴퓨터를 쓰다가 SSD로 바꾸면 처음 켤 때 이 속도 차이를 쉽게 느낄 수 있다. HDD와 SSD는 원리가 전혀 다르지만 전원을 꺼도 내용이 보존되는 비휘발성 메모리라는 점은 동일하다.

반면 컴퓨터 내부에 있는 DRAM(dynamic random access memory, D램)은 전원을 끄면 기억 내용이 사라지는 휘발성 메모리다. D램이 처음 데이터에 접근할 때는 40~50 나노초 정도 걸리지만, 일단 읽어들이기 시작하면 초당 400GB 속도를 낸다. 이는 SSD보다 수십배 빠른 속도다.

더 많은 데이터 이동 위해 D램 적층 후 연결

우리나라의 기업들이 70%에 달하는 압도적 세계시장 점유율을 자랑하는 D램은 트랜지스터 하나와 축전기 하나로 구성된 단순한 구조 때문에 집적도를 높일 수 있어 반도체 메모리의 총아가 되었다.

사실 D램보다 훨씬 속도가 빠르고 비휘발성인 SRAM 메모리가 존재하지만 같은 양의 데이터를 저장하기 위해 D램 보다 약 6배의 트랜지스터가 더 필요하기 때문에 속도가 극도로 중요한 일부에서만 사용된다. CPU 속도와 비슷하면서 메모리 칩에 저장할 수 있는 데이터의 양이 더 중요하기 때문이다.

인공지능 학습과 추론에 사용되는 GPU는 일반적인 컴퓨터용 CPU와는 달리 행렬연산에 필요한 곱셈과 덧셈을 동시에 수행하는 수만개의 연산기(core)가 있다. 이들 모두 D램에서 데이터를 가져오거나 저장해야 하므로 CPU보다 훨씬 많은 양의 데이터를 옮겨야 한다. 하지만 D램 칩 자체의 속도를 급격히 올리는 것은 힘들기 때문에 데이터의 이동 경로를 더 많이 만드는 것이 유일한 방법이다.

CPU와 D램 사이에도 이 방법을 사용하지만 인공지능용 GPU에서는 이 숫자가 극적으로 증가해서 D램 칩들을 GPU 칩 주변에 배치한 후 필요한 수의 전선을 연결하는 것 자체가 매우 어려운 일이 된다. 이 문제를 해결하기 위해서 D램 칩이 새겨진 실리콘 기판을 수십 마이크론 두께로 얇게 갈아낸 후 수직으로 여러 개 적층한다.

얇아진 실리콘 기판에는 작은 구멍을 여러개 뚫어 적층된 D램 칩들 사이에 전선을 연결한 것이 바로 HBM이다. D램 실리콘 기판에 직경은 5 마이크론, 길이는 수십 마이크론 정도 되는 구멍을 수천개 뚫어야 하고 이를 실리콘관통전극(TSV, through silicon via)이라 한다.

TSV의 내부는 전도성 물질로 채워야하고, 상하 수직으로 적층된 D램 칩 사이 연결을 위해서 아래위 D램 칩의 TSV를 정확히 정렬한 후 전기적으로 접합해야 하며 D램 칩들을 기계적으로도 접착시켜야 한다. 난이도가 높은 기술이라 최첨단 반도체 회사들도 매우 어려워한다.

HBM 속도가 인공지능 GPU 성능 결정

GPU의 연산 코어 속도가 높아짐에 따라 HBM 메모리의 성능도 높아지고 있지만 대체적으로 코어의 속도를 HBM 속도가 따라가지 못하고 있다. 많게는 연산코어 계산 능력의 50% 정도가 HBM에서 가져올 데이터를 기다리면서 놀고 있다고 한다. HBM의 속도가 인공지능 GPU의 성능을 결정하는 것이다.

HBM에서도 압도적 세계 시장 점유율을 가진 우리나라가 앞으로 더 많은 수의 D램 칩 적층, 그리고 더 많은 TSV를 만들어서 HBM의 속도를 더욱 높이려는 노력을 지속하고 있는 이유다.

박용섭 경희대 교수 물리학