OpenAI o1: 최초의 Thinking Slow 모델OpenAI는 지난 9월 12일(현지 시각), 그동안 “Strawberry”로 알려졌던 o1 모델을 발표했다. 최근 65억 달러 규모의 대규모 펀딩을 추진 중인 OpenAI에게는 새로운 기술에 대한 기대감을 고조시킬 이벤트가 필요한 시점이었다.Oct 13Oct 13
AI 버블론: 4가지 질문AI 버블론이 대두되면서 작년부터 급등하였던 AI 관련 기업들의 주가가 최근 크게 하락하고 있다. 투자자들은 또 다른 닷컴 버블을 우려하고 있다. 역사적으로 항상 버블이 있어 왔고 그 버블은 꺼지기 마련이었다. 하지만 아이폰과 안드로이드가 촉발시킨…Sep 15Sep 15
[WWDC 2024 리뷰] Apple Intelligence 분석: On-device와 Cloud를 품은 Siri의 Comeback아이폰 등장 이후 지난 15년간은 애플의 시대였다고 해도 과언이 아니었다. 하지만 생성형 AI 시대에 접어들면서 애플은 위기론에 봉착하게 되었다. 창업자인 스티브 잡스 덕분에 애플은 혁신적인 회사라는 이미지가 대중들에게 각인되어 왔지만, 의외로…Jun 23Jun 23
[리뷰] Google IO 2024 : Highlights 정리Google IO 2024는 2024년 5월 14일(현지 시각) 개최되었다. Google IO 2024는 구글 자체 모델인 Gemini를 전면에 내세운 것이 특징이었으며 구글의 대부분 제품에 Gemini를 통합하려는 의지를 엿볼 수 있는 이벤트였다…Jun 16Jun 16
OpenAI GPT-4o(omni): 인간수준의 응답시간과 표현력을 갖춘 멀티 모달 모델의OpenAI는 Google IO 2024를 하루 앞둔 5월 13일(현지시간. 한국시간 14일 오전 2시) 라이브 방송으로 GPT-4o를 전격 공개하였다. Google IO 2024 직전에 GPT-4o를 발표한 것은 Google을 의식한 김 빼기…May 26May 26
Meta Llama 3 릴리즈: GPT4급 Open-Source 모델의 탄생Llama3가 더 강력한 모습으로 돌아왔다. Llama2가 발표된지 거의 9개월만이다. Meta는 먼저 Llama3 8B, 70B을 공개하였으며, 최대 400B급 Llama3 모델을 학습하고 있다고 한다. 최근 공개된 Llama3의 모델 성능과 주요…Apr 211Apr 211
Long Context로 인한 Large KV Cache의 문제점과 해결 방안: Part I-KV cache의 메모리 요구량Auto-regressive 모델이란 이전 단계의 출력들을 이용하여 다음 단계의 출력을 예측하는 모델이다. GPT는 auto-regressive 모델로 이전에 생성된 토큰를 기반으로 다음 토큰을 생성한다. GPT는 이전 토큰 생성 시 발생된 중간값인…Feb 4Feb 4
[리뷰] Meta 논문: Effective Long-Context Scaling of Foundation Models지난 Context Window Size에 대한 글에서 긴 Context Window 의 중요성을 설명하였다. 지난 포스트에서 설명하였듯이 Context Window Size는 LLM을 확장하기 위한 가장 중요한 축이다. 본 포스트는 최근 Meta가…Oct 21, 2023Oct 21, 2023
LLM의 Context Window Size가 크다고 좋은 것일까?최근 LLM이 주목받으면서 Context Window와 같은 용어가 많이 언급되고 있다. Context Window는 무엇을 의미하는 것일까? 그리고 왜 중요할까?Sep 20, 20231Sep 20, 20231
![[WWDC 2024 리뷰] Apple Intelligence 분석: On-device와 Cloud를 품은 Siri의 Comeback](https://miro.medium.com/v2/resize:fill:160:106/1*kEcRBUIRDQC_dU4xr9PUAw.png)
![[WWDC 2024 리뷰] Apple Intelligence 분석: On-device와 Cloud를 품은 Siri의 Comeback](https://miro.medium.com/v2/resize:fill:320:214/1*kEcRBUIRDQC_dU4xr9PUAw.png)
![[리뷰] Google IO 2024 : Highlights 정리](https://miro.medium.com/v2/resize:fill:160:106/1*osKJHZeyNq9wlSGXqaAB6Q.png)
![[리뷰] Google IO 2024 : Highlights 정리](https://miro.medium.com/v2/resize:fill:320:214/1*osKJHZeyNq9wlSGXqaAB6Q.png)
![[리뷰] Meta 논문: Effective Long-Context Scaling of Foundation Models](https://miro.medium.com/v2/resize:fill:160:106/0*KMY7dUK2Mo8ZlIDY.png)
![[리뷰] Meta 논문: Effective Long-Context Scaling of Foundation Models](https://miro.medium.com/v2/resize:fill:320:214/0*KMY7dUK2Mo8ZlIDY.png)
