AI, 또 혁명이 일어났습니다… 챗GPT 20배 속도 ㄷㄷㄷ 1초에 400단어 쏟아지는 LLM 등장! 지금 바로 쓸 수 있습니다

Google의 TPU를 설계했던 Jonathan Ross가 설립한, AI 반도체 스타트업 Groq에서, Meta의 LLaMa2와 Mistral의 Mixtral8x7B 모델을 1초에 400~500단어 출력하는 속도의 어마무시한 서비스를 공개했습니다. 클릭하자마자 수 페이지가 터져 나오는 LLM에, 기존 챗GPT와 Gemini 속도에 비해 비교할 수 없을 정도로 빠르다고 볼 수 있는데요. LLM 을 설계하기보다는, 특정 LLM을 하드웨어 가속하기위해, 특정 작업들의 끝나는 시간을 미리 다 스케줄링하여 최적화한 Language Processing Unit의 결과물입니다. 속도가 압도적으로 빨라지다보니 응용처도 다양하게 발굴되게 될텐데요. AI 가 또 한번 지각변동이 일어납니다.
#Groq #LLM #LPU

Written by Error
Edited by 이진이

unrealtech2021@gmail.com