Ketika SK hynix awalnya mengumumkan portofolio memori HBM3-nya pada akhir 2021, perusahaan mengatakan sedang mengembangkan tumpukan memori 8-Hi 16GB serta tumpukan memori 12-Hi 24GB yang lebih kompleks secara teknis. Sekarang, hampir 18 bulan setelah pengumuman awal tersebut, SK hynix akhirnya mulai mengambil sampel tumpukan HBM3 24GB-nya ke beberapa pelanggan, dengan tujuan untuk memasuki produksi massal dan ketersediaan pasar pada paruh kedua tahun ini. Semua itu seharusnya menjadi pengembangan yang sangat disambut baik oleh pelanggan downstream SK hynix, yang banyak di antaranya berusaha keras untuk mendapatkan kapasitas memori tambahan guna memenuhi kebutuhan model bahasa yang besar dan penggunaan komputasi kelas atas lainnya.
Berdasarkan teknologi yang sama dengan modul memori HBM3 16GB SK hynix yang sudah ada, tumpukan 24GB dirancang untuk lebih meningkatkan kepadatan modul memori HBM3 keseluruhan dengan meningkatkan jumlah lapisan DRAM dari 8 menjadi 12 – menambahkan lapisan 50% lebih banyak untuk 50 % kapasitas lebih. Ini adalah sesuatu yang telah ada dalam spesifikasi HBM selama beberapa waktu, tetapi terbukti sulit untuk dilakukan karena mengharuskan membuat DRAM yang sangat tipis mati dalam tumpukan yang lebih tipis untuk memasukkan lebih banyak.
Paket DRAM HBM standar biasanya 700 – 800 mikron tinggi (Samsung mengklaim 8-Hi dan 12-Hi HBM2E-nya setinggi 720 mikron), dan, idealnya, ketinggian tersebut perlu dipertahankan agar tumpukan yang lebih padat ini kompatibel secara fisik dengan desain produk yang ada, dan pada tingkat yang lebih rendah untuk hindari menjulang di atas prosesor yang dipasangkan dengannya. Akibatnya, untuk mengemas 12 perangkat memori ke dalam KGSD standar, produsen memori harus mengecilkan ketebalan setiap lapisan DRAM tanpa mengorbankan kinerja atau hasil, mengurangi ruang antar lapisan, meminimalkan lapisan dasar, atau memperkenalkan kombinasi ketiga ukuran tersebut. .
Sementara siaran pers terbaru SK hynix menawarkan detail yang terbatas, perusahaan tampaknya telah melakukan penipisan cetakan DRAM dan ruang di antara mereka dengan bahan underfill yang lebih baik. Untuk DRAM die sendiri, SK hynix sebelumnya telah menyatakan bahwa mereka telah mampu memangkas ketebalan die hingga 30 mikron. Sementara itu, material underflow yang ditingkatkan pada tumpukan 12-Hi mereka disediakan melalui sebagai bagian dari proyek baru perusahaan. Underfill Molded Mass Reflow (MR-MUF) teknologi pengepakan. Teknik ini melibatkan pengikatan die DRAM sekaligus melalui proses reflow, sekaligus mengisi celah antara die dengan material underfill.
SK hynix menyebut bahan underfill mereka yang telah disempurnakan sebagai “Liquid Epoxy Moulding Compound”, atau “Liquid EMC”, yang menggantikan Non Conductive Film (NCF) lama yang digunakan pada HBM generasi lama. Yang menarik di sini, selain lapisan yang lebih tipis, hal ini memungkinkan, menurut SK hynix, cairan EMC menawarkan konduktivitas termal dua kali lipat dari NCF. Menjaga lapisan bawah chip yang ditumpuk cukup dingin telah menjadi salah satu tantangan terbesar dengan teknologi penumpukan chip dari semua varietas, sehingga menggandakan konduktivitas termal bahan pengisi menandai peningkatan yang signifikan untuk SK hynix. Ini harus berjalan jauh untuk membuat tumpukan 12-Hi lebih layak dengan menghilangkan panas dengan lebih baik dari cetakan tingkat terendah yang terkubur dengan baik.
Di samping perakitan, spesifikasi kinerja tumpukan HBM3 24 GB SK hynix identik dengan tumpukan 16 GB yang ada. Itu berarti kecepatan transfer data maksimum 6,4Gbps/pin berjalan melalui antarmuka 1024-bit, memberikan bandwidth total 819,2 GB/s per tumpukan.
Pada akhirnya, semua kesulitan perakitan dengan tumpukan 12-Hi HBM3 harus lebih dari sekadar dibenarkan oleh manfaat yang dihasilkan oleh kapasitas memori tambahan. Pelanggan utama SK hynix sudah menggunakan 6+ tumpukan HBM3 pada satu produk untuk memberikan total bandwidth dan kapasitas memori yang mereka anggap perlu. Peningkatan 50% dalam kapasitas memori, pada gilirannya, akan menjadi keuntungan yang signifikan bagi produk-produk seperti GPU dan bentuk akselerator AI lainnya, terutama karena era model bahasa besar ini telah melihat kapasitas memori menjadi faktor penghambat dalam pelatihan model. NVIDIA telah mendorong amplop pada kapasitas memori dengan NVL H100 mereka – SKU H100 96GB khusus yang memungkinkan memori yang dicadangkan sebelumnya – sehingga mudah untuk melihat bagaimana mereka akan bersemangat untuk dapat menyediakan komponen H100 120GB/144GB menggunakan 24GB HBM3 tumpukan.
Sumber: SK Hynix
