daewoo kim[WWDC 2024 리뷰] Apple Intelligence 분석: On-device와 Cloud를 품은 Siri의 Comeback아이폰 등장 이후 지난 15년간은 애플의 시대였다고 해도 과언이 아니었다. 하지만 생성형 AI 시대에 접어들면서 애플은 위기론에 봉착하게 되었다. 창업자인 스티브 잡스 덕분에 애플은 혁신적인 회사라는 이미지가 대중들에게 각인되어 왔지만, 의외로…6d ago6d ago
daewoo kim[리뷰] Google IO 2024 : Highlights 정리Google IO 2024는 2024년 5월 14일(현지 시각) 개최되었다. Google IO 2024는 구글 자체 모델인 Gemini를 전면에 내세운 것이 특징이었으며 구글의 대부분 제품에 Gemini를 통합하려는 의지를 엿볼 수 있는 이벤트였다…Jun 16Jun 16
daewoo kimOpenAI GPT-4o(omni): 인간수준의 응답시간과 표현력을 갖춘 멀티 모달 모델의OpenAI는 Google IO 2024를 하루 앞둔 5월 13일(현지시간. 한국시간 14일 오전 2시) 라이브 방송으로 GPT-4o를 전격 공개하였다. Google IO 2024 직전에 GPT-4o를 발표한 것은 Google을 의식한 김 빼기…May 26May 26
daewoo kimMeta Llama 3 릴리즈: GPT4급 Open-Source 모델의 탄생Llama3가 더 강력한 모습으로 돌아왔다. Llama2가 발표된지 거의 9개월만이다. Meta는 먼저 Llama3 8B, 70B을 공개하였으며, 최대 400B급 Llama3 모델을 학습하고 있다고 한다. 최근 공개된 Llama3의 모델 성능과 주요…Apr 211Apr 211
daewoo kimLong Context로 인한 Large KV Cache의 문제점과 해결 방안: Part I-KV cache의 메모리 요구량Auto-regressive 모델이란 이전 단계의 출력들을 이용하여 다음 단계의 출력을 예측하는 모델이다. GPT는 auto-regressive 모델로 이전에 생성된 토큰를 기반으로 다음 토큰을 생성한다. GPT는 이전 토큰 생성 시 발생된 중간값인…Feb 4Feb 4
daewoo kim[리뷰] Meta 논문: Effective Long-Context Scaling of Foundation Models지난 Context Window Size에 대한 글에서 긴 Context Window 의 중요성을 설명하였다. 지난 포스트에서 설명하였듯이 Context Window Size는 LLM을 확장하기 위한 가장 중요한 축이다. 본 포스트는 최근 Meta가…Oct 21, 2023Oct 21, 2023
daewoo kimLLM의 Context Window Size가 크다고 좋은 것일까?최근 LLM이 주목받으면서 Context Window와 같은 용어가 많이 언급되고 있다. Context Window는 무엇을 의미하는 것일까? 그리고 왜 중요할까?Sep 20, 20231Sep 20, 20231
daewoo kim오픈소스 LLM의 패러다임 전환: Meta AI의 LLAMA2 — (1) overview드디어 2023년 7월 19일 LLAMA2가 연구 및 상업적 용도로 사용할 수 있는 무료 버전으로 일반에게 공개되었다. (LLAMA1이 발표된지 겨우 5개월만에 2번째 버전이 릴리즈되었다.) 그리고 Microsoft와 파트너쉽으로 MS Azure…Jul 29, 2023Jul 29, 2023
daewoo kimGPT-4의 세부 정보가 유출되다최근 전직 아이폰 해커이자 자율주행 스타트업 Comma.ai의 창업자 George Hotz가 GPT-4가 220B x 8-way MoE 모델로 구성되어 있다는 사실을 공개한데 이어 믿을만한 정보 소스인 Semi-Analysis에 의해 GPT-4의…Jul 15, 2023Jul 15, 2023
![[WWDC 2024 리뷰] Apple Intelligence 분석: On-device와 Cloud를 품은 Siri의 Comeback](https://miro.medium.com/v2/resize:fill:160:106/1*kEcRBUIRDQC_dU4xr9PUAw.png)
![[WWDC 2024 리뷰] Apple Intelligence 분석: On-device와 Cloud를 품은 Siri의 Comeback](https://miro.medium.com/v2/resize:fill:320:214/1*kEcRBUIRDQC_dU4xr9PUAw.png)
![[리뷰] Google IO 2024 : Highlights 정리](https://miro.medium.com/v2/resize:fill:160:106/1*osKJHZeyNq9wlSGXqaAB6Q.png)
![[리뷰] Google IO 2024 : Highlights 정리](https://miro.medium.com/v2/resize:fill:320:214/1*osKJHZeyNq9wlSGXqaAB6Q.png)
![[리뷰] Meta 논문: Effective Long-Context Scaling of Foundation Models](https://miro.medium.com/v2/resize:fill:160:106/0*KMY7dUK2Mo8ZlIDY.png)
![[리뷰] Meta 논문: Effective Long-Context Scaling of Foundation Models](https://miro.medium.com/v2/resize:fill:320:214/0*KMY7dUK2Mo8ZlIDY.png)
