MoonshotAI의 Attention Residuals: 트랜스포머 어텐션 메커니즘을 개선하는 새로운 접근
## 트랜스포머의 심장, 어텐션 메커니즘에 잔차 연결을 더하다 MoonshotAI가 GitHub에 공개한 'Attention Residuals' 프로젝트는 현대 AI 모델의 핵심인 트랜스포머 아키텍처의 어텐션 메커니즘을 개선하려는 연구입니다. 이름에...
Flash-KMeans: K-Means 클러스터링을 메모리 절반으로, 속도는 수십 배 빠르게
## 들어가며 클러스터링은 머신러닝에서 가장 기본적이면서도 가장 널리 쓰이는 비지도 학습 기법입니다. 그중에서도 K-Means는 1950년대에 제안된 이래 70년이 넘도록 실무에서 살아남은 알고리즘입니다. 추천 시스템에서 사용자 그룹을 나누거나, 이...