AI회사들이 메모리에 집착하는 이유
NVIDIA H100의 이론상 속도는 62,000 토큰이지만
실제 속도는 1/200밖에 미치지 못하고 있음
그 이유는
지난 수십년간 컴퓨터의 성능 대비
메모리의 속도가 너무 느리게 발전했기 때문
그러다보니
AI에게 일을 시켜도 대부분의 시간이
데이터가 오기를 기다리는 시간으로 허비됨
결과적으로 AI 회사들은
메모리 성능이 올라가길
기다리는 수밖에 답이 없음
[10]
| 01:53 | 조회 0 |루리웹
[13]
부라리온 | 01:50 | 조회 0 |루리웹
[1]
눈팅중.89 | 01:43 | 조회 40 |SLR클럽
[8]
루리웹-1718338881 | 01:28 | 조회 0 |루리웹
[0]
굽네치킨 | 01:34 | 조회 60 |SLR클럽
[7]
별수상 | 01:36 | 조회 0 |루리웹
[13]
| 01:44 | 조회 0 |루리웹
[4]
| 01:15 | 조회 0 |루리웹
[2]
| 01:27 | 조회 0 |루리웹
[19]
| 01:43 | 조회 0 |루리웹
[18]
| 01:41 | 조회 0 |루리웹
[7]
| 01:33 | 조회 0 |루리웹
[13]
| 01:38 | 조회 0 |루리웹
[22]
| 01:37 | 조회 0 |루리웹
[42]
말랑한옴팡이 | 01:23 | 조회 959 |오늘의유머
그동안 게임을 돌리는데에는 충분했는데...
사실 게임 돌릴때도 종종 존나 빠른 연산을 요구하기도 하는데
그 부분을 최대한 다른 수식이나 꼼수로 때워온거긴 함
근데 AI 시대가 되면서 꼼수는 통하지 않는 순수 연산력을 요구하는 바람에
애플:ㅎㅎ 파산해라 마이크론!
난 단순히 내가 입력한 휘발성정보를 더 많이 기억하려고 그런줄 알았는데 훨씬 복잡하네
삼하마 : 그래서 니들이 뭘 할수 있는데?
레이턴시가 정말 짧은 옵테인 ssd가 있었는데요
너무비싸서 ai시대가 오기전에 망해부렸으
램 속도 올라오길 바라지 말고 어케어케 해서 빨리 해결하란 말이닷 !!
그냥 로직을 기판에 박아버리자
어흐 생성기는 씹ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ