반도체 소자(13)- emerging devices

이번 글에서는 차세대 메모리 소자/제품에 대해 설명해드리도록 하겠습니다.

 

DDR/LPDDR DRAM

DRAM은 Dynamic Random-Access Memory의 약자로, 1T 1C 구조를 갖고 용량이 크고 속도가 빨라 컴퓨터의 주 메모리로 사용됩니다. DRAM에 대한 자세한 정보는 아래 글에 정리되어 있습니다.

https://mem5ry.tistory.com/16

반도체 소자(11)- DRAM

 

DRAM과 관련해서는 DDR DRAM이라는 표현을 많이 들어보셨을 텐데요, 여기서 DDR은 Double Data Rate의 약자입니다. DDR의 개념 이전에 clock의 개념을 살펴보면, clock은 일정한 주기로 0과 1을 반복하는 것입니다.

파형이 0에서 1로 변할 때를 rising edge, 1에서 0으로 변할 때를 falling edge라고 합니다.

CPU를 포함한 장치들은 clock의 주파수에 맞춰 데이터를 읽고 쓰는 동작을 수행합니다.

 

초기 메모리는 SDR (Single Data Rate) DRAM이었습니다. SDR은 1개의 clock 당 1 번만 read/write 작업을 수행하는 방식을 말합니다. 이 경우에서는 clock의 rising edge에서만 데이터를 전송하고, 이전 명령이 완료되어야 다음 동작을 수행할 수 있습니다.

반대로 DDR의 경우 clock 신호의 rising, falling edge 모두에서 데이터를 전송할 수 있습니다. DDR은 SDR 방식에서 메모리 clock을 올리지 않아도 전송 데이터 rate을 2배로 올릴 수 있습니다.

DDR이 개발되고 난 후로 전송 속도를 더욱 높인 DDR2, DDR3, DDR4 등 DDR 시리즈가 개발되었습니다. 세대가 거듭될수록 최대 데이터 속도는 400 MT/s (DDR1), 800 MT/s (DDR2), 1,600 MT/s (DDR3), 3,200 MT/s (DDR4), 6,400 MT/s (DDR5)으로 빨라지고 동작 전압은 각각 2.5 V, 1.8 V, 1.5 V, 1.2 V, 1.1 V로 감소했습니다.

참고로 2020년 10월 SK하이닉스에서 세계최초로 DDR5를 출시했습니다.

 

DDR과 함께 자주 거론되는 제품은 LPDDR로, Low Power DDR에 해당합니다. 데스크탑이나 노트북에 사용되는 DDR DRAM이 아닌 스마트폰이나 태블릿 컴퓨터 용도로 모바일 기기에 탑재되기 위해 기존 메모리보다 더 작은 크기면서 저전력, 저발열 버전으로 개발된 메모리 제품입니다.

LPDDR도 세대가 거듭될수록 데이터 처리 속도가 향상되고 있습니다.

시리즈	데이터 전송 속도	동작 전압
LPDDR1	3.2 GB/s	1.8 V
LPDDR2	6.4 GB/s	1.2 V
LPDDR3	12.8 GB/s	1.2 V
LPDDR4	25.6 GB/s	1.1 V
LPDDR4X	34.1 GB/s	1.1 V
LPDDR5	51.2 GB/s	최대 1.1 V
LPDDR5X	68.3 GB/s	최대 1.1 V
LPDDR5T	76.8 GB/s	최대 1.1 V

2023년 11월 SK하이닉스가 세계최고속 LPDDR5T DRAM을 첫 상용화한다고 밝힌 바가 있습니다.

 

+) LPDDR을 모듈화 시킨 것이 LPCAMM 규격으로, 기존 DIMM (Dual In-line Memory Module) 규격보다 전력 소모가 적고 면적 대비 우수한 성능을 보이는 규격입니다. SO-DIMM (Small Outline DIMM; 노트북 향 탈부착 메모리 모듈)의 확장성과 유연성, 온보드 메모리의 전력 및 공간 효율을 통합한 모듈입니다.

 

+) 추가적으로 DRAM 공정에 HKMG 공정을 도입하여 DRAM의 성능 향상과 전력 효율 개선을 이뤄내기도 하였습니다.

DDR5 메모리: 2021년 3월, 삼성전자는 업계 최초로 HKMG 공정을 적용한 512GB DDR5 메모리 모듈을 개발했습니다. 이 제품은 기존 공정 대비 전력 소모를 약 13% 감소시켜 데이터센터 등 전력 효율이 중요한 응용처에 최적의 솔루션을 제공합니다.
https://news.samsung.com/kr/%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90-%EC%97%85%EA%B3%84-%EC%B5%9C%EC%B4%88-hkmg-%EA%B3%B5%EC%A0%95-%EC%A0%81%EC%9A%A9-%EA%B3%A0%EC%9A%A9%EB%9F%89-ddr5-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EA%B0%9C%EB%B0%9C

삼성전자, 업계 최초 HKMG 공정 적용 고용량 DDR5 메모리 개발

LPDDR5X 메모리: 2022년 11월, SK하이닉스는 세계 최초로 모바일용 DRAM인 LPDDR5X에 HKMG 공정을 도입하여 개발을 완료하고 판매를 시작했습니다. 이 제품은 이전 세대 대비 소비 전력을 25% 줄였으며, 동작 속도는 8.5Gbps로 33% 향상되었습니다.

https://news.skhynix.co.kr/post/lpddr5x-developer-interview

“SK하이닉스, 세계 최초 모바일 D램에 HKMG 공정 적용” 세계 최저 전력의 LPDDR5X 개발과 판매까지

 

 

 

 

HBM

HBM은 High Bandwidth Memory의 약자로, 말 그대로 고대역폭 메모리를 의미합니다.

HBM이 개발된 배경에 대해 먼저 설명해보겠습니다.

AI 시장이 커지면서 방대한 양의 데이터를 처리하기 위해 반도체 업계에도 변화가 생겼습니다. AI 작업 수행을 위해 GPU (그래픽 처리 장치)가 주목받게 되었는데요, 아래 그림과 같이 GPU는 병렬 연산에 특화되어 있어 대량의 데이터를 동시에 처리할 수 있습니다.

이에따라 GPU 시장 1위 엔비디아가 AI 시장의 최강자가 되었습니다.

이러한 GPU의 주목은 메모리 시장에도 변화를 가져다 주었습니다. 기존의 CPU-memory 구조는 연산 장치와 거리가 멀기 때문에 (파 메모리) 데이터를 빠르게 처리할 수 없었기 때문입니다. 이를 해결하기 위해서 연산 장치 근처에서 정보를 저장하는 '니어 메모리'가 각광 받게 됩니다.

이러한 니어 메모리로는 GDDR DRAM과 HBM이 있습니다.

먼저 GDDR (Graphics DDR) DRAM은 그래픽용 DRAM으로, 그래픽 카드의 명령에 따라 영상과 그래픽을 빠르게 처리하는 초고속 DRAM입니다.

GDDR DRAM의 장점은 빠른 속도입니다. 2024년 10월 삼성전자가 개발한 GDDR7은 정보 출입 통로 (I/O) 통로인 '핀' 당 정보 처리 속도가 최대 42.5 Gbps입니다. 초당 425 억개의 bit를 전송할 수 있는 능력입니다. 이는 일반 DDR5가 4.8 ~ 8.8 Gbps인 것에 비하면 굉장히 빠른 속도입니다. 하지만 GDDR은 핀의 개수가 32개로 통상 GPU 근처엔 12개의 GDDR이 배치되므로 총 대역폭은 42.5 Gbps × 32 (핀 개수) ÷ 8 (bit를 byte로 변환) × 12 = 2.04 TB/s입니다.

핀의 개수가 증가한다면 대역폭을 키울 수 있을 것이라는 아쉬움이 남는데요, 또한 GDDR7의 용량은 2 GB로(= 16Gb, 2024년 7월 SK하이닉스가 발표한 GDDR7 기준. 2024년 10월 삼성전자가 공개한 GDDR7의 용량은 3 GB = 24 Gb), 12개 GDDR7을 배치하더라도 총 용량이 24 GB에 불과합니다. 이러한 GDDR의 단점을 HBM이 빠르게 극복하고 있습니다.

아래 그림부터는 HBM3을 기준으로 설명하도록 하겠습니다.

HBM은 DRAM 여러개를 수직으로 쌓은 뒤, 1,024개의 구멍을 뚫어 데이터 입/출구 통로 (I/O)를 만든 제품입니다. 핀 당 속도는 GDDR보다 낮지만, 핀의 수를 늘려 bandwidth를 크게 증가시켰습니다.

HBM의 구조는 DRAM을 수직으로 적층하고, Base Die(기반 다이) 위에 여러 개의 DRAM 다이를 쌓은 구조입니다. 각 DRAM 다이는 TSV(Through-Silicon Via)를 통해 상하층이 직접 연결됩니다. 이렇게 적층된 HBM 패키지는 실리콘 인터포저를 통해 CPU, GPU와 연결됩니다.

기존 HBM1~HBM3E까지는 Base Die가 단순한 인터페이스 역할만 했지만, HBM4부터는 Logic Die로 발전되면서 단순한 신호 전달뿐만 아니라 데이터 재배열(Reordering), 오류 정정(ECC), 전력 관리 같은 기능도 수행할 가능성이 높습니다.

GDDR vs. HBM

또한 HBM은 GDDR과 달리 GPU 한 개 기판 위에서 마치 한 칩처럼 움직이는 이종 결합 형태로 패키징 되기 때문에 GPU 칩과의 거리가 더욱 가깝습니다.

HBM도 마찬가지로 세대를 거듭할수록 bandwidth, 단 수가 높아지는 등 발전이 계속되고 있습니다.

 

HBM의 핵심 기술에 대해서 간단히 정리해보도록 하겠습니다.

HBM은 TSV 라는 기술이 적용됩니다. I/O 핀을 밖으로 빼내어 연결하는 기존의 리드프레임 배선 공정이 아니라 칩 한 가운데를 관통하는 구멍을 뚫고 이 속에 Cu 처럼 데이터를 전송할수 있는 소재를 채우는 방식이 바로 TSV입니다. HBM의 I/O 수는 1,024개인데, 이는 TSV로 칩에 1,024개의 구멍을 뚫었다는 의미입니다.

이렇게 구멍을 뚫은 칩들을 연결하는 기본적인 방법은 납땜입니다. ㎛ 단위의 미세한 TSV 통로들을 잇는 역할을 '마이크로 범프'라는 것이 하는데요, 1,024 개의 배선 바깥에 구리 돌기 (Cu pillar)를 낸 후에 이 돌기 가장 바깥쪽에 납 (solder)를 얹어 납땜하는 방식입니다.

이 공정을 진행하는 방식이 삼성전자와 SK하이닉스에서 차이가 있습니다.

먼저, 삼성전자는 TC (Thermal Compression) - NCF (Non Conductive Film) 방식을 사용하는데요, 현재 마이크론도 이 방법을 사용합니다. TC-NCF는 DRAM 칩 사이에 NCF라는 절연 필름을 덧대어 열과 압력을 이용해 범프 간 연결과 칩 고정을 수행합니다. NCF는 범프와 배선 외 공간을 절연체로 메우는 역할도 함께 합니다. 이는 통상 접착제 소재로 많이 쓰이는 에폭시와 함께 아크릴 등의 소재가 섞여 있는 것으로 알려져 있습니다.

하지만 이 방식의 문제점은 칩에 가하는 열과 압력을 1,024개의 범프에 일정하게 전달하는 것이 어렵다는 점이었습니다. 또한 HBM은 1,024개의 배선 외에도 열 흡수를 위한 더미 범프가 존재하기 때문에 열과 압력을 골고루 전달하는 것이 어렵습니다. 추가적으로 층수를 높이기 위해 DRAM 칩의 뒷부분을 갈아내는 그라인딩 작업이 균일하지 않게 된다면 더더욱 어려운 문제입니다. 또한 칩 하나하나 열과 압력을 줘야하기 때문에 공정 효율도 문제가 지적되고 있습니다.

(하지만 삼성전자에서는 16단 등 높은 단수에서는 TC-NCF 방식이 더 유리한 것으로 판단하고 있습니다.)

 

따라서 SK하이닉스에서 채택한 방식은 MR (Mass Reflow) - MUF (Molded Under Fill)입니다. MR은 대량으로 칩을 모두 쌓아 올린 후 한 번에 오븐 같이 내부가 데워진 장비 안에서 납땜하는 방식입니다. 또한 MUF를 통해 칩 사이사이 간극을 molding 소재인 EMC (Epoxy Molding Compound)로 채우면서 단단하게 굳히는 언더필 작업과 칩을 보호하는 마감 작업인 몰딩을 동시에 진행합니다.

이 방식은 납땜 공간 사이 사이를 액체로 채우기 때문에 열과 압력이 골고루 범프에 가해지고 molding 소재가 NCF보다 열 방출 능력이 뛰어나다고 합니다.

아래 방식이 MR-MUF

하지만 이 방식은 칩이 휘게 되는 warpage 에 취약하다고 합니다. 이를 해결하기 위한 방식이 advanced MR-MUF인데요, 상온에서 칩을 웨이퍼에 붙어있을 정도로만 올려두고 한 번에 접합하던 방식에서 adv. MR-MUF에서는 칩을 웨이퍼에 올려둘 때 순간적으로 높은 열을 가해 칩 하나하나를 모두 임시 접함하는 방식을 사용합니다.

SK하이닉스는 이 방식을 계속해서 적용하여 24년 11월 5세대 HBM (HBM3E) 16단 제품을 개발하였다고 밝혔습니다.

 

이러한 방식 외에도 차세대 HBM에는 '하이브리드 본딩'이 적용될 것으로 예상되는데요,

이 방식은 solder ball로 납땜하는 방식에서 벗어나 칩과 칩을 포개어 버리는 방식입니다. 이렇게 되면 칩 사이의 간격이 감소하고 더 높은 단수의 HBM을 개발할 수 있게 됩니다.

하지만 전선 역할을 하는 Cu와 절연체 역할을 하는 SiO₂, 특성이 다른 물질을 하이브리드 방식으로 붙여야 하기 때문에 어려움이 존재하긴 합니다.

 

 

PIM

세 번째로 살펴볼 제품은 PIM입니다. PIM은 Processing In Memory의 약자로, 말 그대로 메모리 내부에서도 연산을 하는 칩입니다.

위의 그림과 같이 PIM은 DRAM bank 안에 GPU의 데이터를 처리하는 산술 연산 장치 (ALU, Arithmetic and Logic Unit)을 배치하여 메모리 내에서 연산을 하는 컨셉입니다.

뱅크 내 파라미터를 선별하거나 이를 활용해 연산을 수행함으로써 데이터 전송을 줄일 수 있습니다.

이를 HBM에 적용한 HBM-PIM도 개발되고 있다고 합니다. HBM-PIM을 적용하면 전력은 줄이고 성능은 키울 수 있습니다.

ISSCC 2024❘ AMD가 삼성전자 HBM-PIM을 적용한 GPU 32MI100 성능 테스트 결과

또한 이러한 PIM 기술이 모바일 기기 속의 LPDDR에 적용되면 성능은 올리고 전력을 크게 감소할 수 있다고 합니다.

하지만 메모리 제조 라인 장비들이 DRAM과는 전혀 특성이 다른 ALU 제조까지 해낼 수 있을 것인지에 대한 공정 측면의 우려들이 존재합니다.

 

NVRAM (Non Volatile RAM)

위의 제품들 이외에도 완전히 다른 동작 원리를 갖는 비휘발성 소자들이 연구되고 있습니다.

① MRAM (Magnetoresistive RAM)

Magnetic tunnel junction (MTJ)를 이용해 전류를 조절해 0과 1을 구분하는 소자입니다. 외력이 없으면 자화 방향이 바뀌지 않는 비휘발성 소자이고 속도가 빠르다는 특성을 가집니다. 하지만 특성 상 소자의 크기를 줄이기 어렵다는 문제가 존재합니다.

② STT-MRAM (Spin-Trasfer-Torque MRAM)

MRAM에서 MTJ의 자화 방향을 외부 자기장이 아닌 직접 전류 주입으로 바꾼 방식으로 삼성전자와 IBM의 합작으로 HKMG가 적용된 STT-MRAM이 구현된 적이 있습니다.

③ PRAM (Phase change RAM)

상 변화 물질 (chalcogenide)의 amorphous ↔ crystalline 상에 따른 저항 변화를 기반으로 한 소자로, 비휘발성이고 CMOS 공정에 적용 가능하다는 특성을 갖습니다. 양산화가 가능하고 scalability가 좋지만 수명한계가 존재합니다.

④ ReRAM (Resistive RAM)

저항 변화 물질을 이용한 소자로, 비휘발성이고 저전력이며 CMOS 공정 적용이 가능하다는 장점이 있습니다.

하지만 산포도가 높고 느리다는 문제가 있습니다.

⑤ FRAM (Ferroelectric RAM)

강유전체를 이용한 소자로, 분극에 따른 저항 변화를 기반으로 동작합니다. CMOS 공정에 적용 가능하지만 destructive read 동작이 필요하다는 단점이 존재합니다.

 

다음 글에서부터는 반도체 공정에 대해서 설명해보도록 하겠습니다~

 

참고

https://www.sedaily.com/NewsView/29OEGJGUPB

SK하이닉스가 HBM에 진심인 이유 <1> [강해령의 하이엔드 테크]

https://www.sedaily.com/NewsView/29OHODCQ01

SK하이닉스가 HBM에 진심인 이유 <2> [강해령의 하이엔드 테크]

https://www.sedaily.com/NewsView/2D6NPPAR76

삼성전자가 칼 갈고 준비한 메모리 新무기 3선 [강해령의 하이엔드 테크] <2· HBM-PIM편>