GPU 한 대를 여러 개발자가 나눠 쓴다 — sllm으로 LLM 추론 비용 줄이기
## GPU 비용, 개발자의 영원한 고민 LLM(대규모 언어 모델)을 다뤄본 분이라면 공감하실 텐데요, GPU 비용이 정말 어마어마해요. OpenAI나 Anthropic의 API를 쓰면 토큰당 과금이 되니까 프로토타이핑할 때는 괜찮지만, 본격적으로 ...
AI 코딩 에이전트는 어떻게 만들어질까? 핵심 구성 요소 완전 해부
요즘 Cursor, GitHub Copilot, Claude Code 같은 AI 코딩 도구를 써보신 분 많으시죠? 코드를 짜달라고 하면 알아서 파일을 읽고, 수정하고, 심지어 터미널 명령어까지 실행하는 모습을 보면 "이거 어떻게 만든 거지?" 하는...
코드 생성 AI, 스스로를 가르치면 더 똑똑해진다 — Self-Distillation 기법 해부
## 무슨 일이 있었나요? 코드를 생성하는 AI 모델을 더 잘 만들려면 보통 어떻게 할까요? 더 큰 모델을 쓰거나, 더 많은 데이터로 학습시키거나, 사람이 직접 피드백을 주는 RLHF 같은 복잡한 파이프라인을 돌리는 게 일반적이에요. 그런데 최근...
[심층분석] 모든 LLM을 하나로 묶는 오픈소스 AI 플랫폼, Onyx가 바꿀 업무 환경의 미래
## 왜 지금 Onyx 이야기를 해야 할까 AI 챗봇 하나쯤은 다들 써보셨을 거예요. ChatGPT, Claude, Gemini… 선택지가 정말 많아졌죠. 그런데 막상 회사에서 본격적으로 AI를 도입하려고 하면 골치 아픈 문제들이 쏟아져요. "우리 ...
테크 뉴스를 읽는 당신,
직접 만들어볼 준비 되셨나요?
17가지 수익 모델 실습 · 144+ 강의 · 자동화 소스코드 제공
LLM도 감정을 '이해'할까? Anthropic이 밝혀낸 대형 언어 모델 속 감정 개념의 작동 원리
## 기계가 감정을 느끼는 건 아니지만, 뭔가 흥미로운 일이 벌어지고 있어요 Anthropic이 대형 언어 모델(LLM) 내부에서 감정 개념이 어떻게 표현되고 기능하는지를 분석한 연구를 공개했어요. 우리가 ChatGPT나 Claude 같은 AI에...
Apfel: 맥에 이미 깔려 있는 AI를 꺼내 쓰는 무료 앱
## 내 맥 안에 잠자고 있는 AI가 있다? 혹시 알고 계셨나요? 여러분의 Mac에는 이미 꽤 괜찮은 AI 모델이 내장되어 있어요. Apple이 macOS에 탑재한 온디바이스 머신러닝 모델들이 있는데, 보통은 Siri나 시스템 기능 뒤에서 조용히...
Mac mini 하나로 Gemma 4 26B 로컬 AI 돌리기: Ollama 셋업 가이드
## 내 맥 미니에서 26B 파라미터 모델을 돌린다고? 요즘 AI 모델을 직접 내 컴퓨터에서 돌려보고 싶다는 분들이 정말 많아졌어요. ChatGPT나 Claude 같은 클라우드 서비스도 좋지만, 매달 구독료가 나가고, 내 데이터가 외부 서버를 거...
OpenAI가 TBPN을 인수했어요 — AI 시대의 뉴스 유통이 바뀌려나
## OpenAI, 미디어 기업 TBPN 인수 OpenAI가 **TBPN(The Bold Pivot News)**을 인수했어요. TBPN은 디지털 뉴스 및 미디어 플랫폼인데요, 이번 인수는 OpenAI가 단순히 AI 모델을 만드는 회사에서 **콘텐츠...
Qwen3.6-Plus 공개 — 중국발 AI 에이전트 시대가 한 발짝 더 가까워졌어요
## 알리바바가 또 한 수를 던졌어요 알리바바 클라우드의 AI 연구팀이 Qwen(통의천문) 시리즈의 최신 모델인 Qwen3.6-Plus를 공개했어요. 이번 모델의 부제가 "Towards Real World Agents"인데요, 이름에서 알 수 있듯이...
[심층분석] AI가 2004년 플립폰 사진을 재현하다 — 이미지 생성 AI는 어떻게 '시대의 질감'까지 학습했을까
## 플립폰으로 찍은 2004년 대학 파티, AI가 그걸 만들어냈다고요? 여러분, 2004년을 기억하시나요? 아이폰은 아직 세상에 없었고, 우리 손에는 폴더폰(플립폰)이 들려 있었어요. 카메라 화소는 30만~130만 화소가 고작이었고, 플래시도 ...
DRAM 가격 폭등이 라즈베리파이 같은 취미용 보드 시장을 죽이고 있다
## 무슨 일이 벌어지고 있나요? 취미로 홈서버를 돌리거나, IoT 프로젝트를 하거나, 혹은 라즈베리파이로 이것저것 만들어보는 걸 좋아하시는 분들에게 안 좋은 소식이에요. **DRAM(메모리) 가격이 크게 올라서** 취미용 SBC(Single Boa...
OpenAI의 무덤: 발표만 하고 사라진 제품과 파트너십 총정리
## 발표할 때는 화려했는데, 그 뒤로 소식이 없다? OpenAI 하면 ChatGPT, GPT-4, DALL-E 같은 성공적인 제품들이 떠오르잖아요. 그런데 OpenAI가 야심 차게 발표했다가 조용히 사라지거나, 아직까지 출시되지 않은 제품과 파트너...
StepFun 3.5 Flash: 비용 대비 성능 1위를 차지한 중국발 AI 모델의 등장
## 비용 대비 성능이라는 새로운 경쟁 기준 AI 모델을 고를 때 "어떤 모델이 가장 똑똑한가"만 따지던 시대는 지나가고 있어요. 이제는 **"같은 돈을 쓸 때 어떤 모델이 가장 좋은 결과를 내는가"**가 실무에서 훨씬 중요한 질문이 되고 있거든...
데이터 사이언티스트의 역습: AI 시대에 오히려 더 중요해진 이유
## "데이터 사이언티스트는 끝났다"고 했던 사람들에게 몇 년 전부터 "데이터 사이언티스트라는 직업은 사라질 것"이라는 이야기가 돌았어요. AutoML이 나오고, ChatGPT가 코드를 짜주고, 누구나 데이터 분석을 할 수 있는 도구가 쏟아지니까...
OpenAI 기업가치 8,520억 달러: AI 버블인가, 새로운 현실인가
## 무슨 일이 있었나요 OpenAI가 새로운 펀딩 라운드를 마무리하면서 기업가치가 8,520억 달러(약 1,200조 원)로 책정됐어요. 이 숫자가 어느 정도인지 감이 잘 안 올 수 있는데, 비교해보면 명확해져요. 삼성전자의 시가총액이 약 350...
1-Bit LLM이 상용화 단계에 진입했다: PrismML의 '1-Bit Bonsai'
## 1비트 LLM이 뭔데, 왜 중요한 건가요 LLM(대규모 언어 모델)을 돌려본 분이라면 한 번쯤 느꼈을 거예요. "이거 GPU가 몇 개 필요한 거야?" 하는 그 막막함. GPT 급 모델을 로컬에서 돌리려면 고가의 GPU 메모리가 수십 GB 필...
파라미터 13개로 추론을 학습시킨다고? TinyLoRA가 보여준 극한의 효율
## 13개 파라미터로 추론 능력을 학습시킬 수 있다? 요즘 AI 모델들은 수십억, 수천억 개의 파라미터를 자랑하는데요. 그런 시대에 고작 13개의 파라미터만으로 모델에게 "추론"을 가르칠 수 있다는 논문이 나왔어요. TinyLoRA라는 이 연구...
Cerno — LLM의 추론 능력을 역이용한 새로운 CAPTCHA가 등장했어요
## CAPTCHA, 이제 사람이 아니라 AI를 걸러야 하는 시대 인터넷을 쓰다 보면 "로봇이 아닙니다"를 클릭하거나, 흐릿한 사진에서 신호등을 찾아 클릭하는 경험을 해보셨을 거예요. 이게 바로 CAPTCHA(캡차)인데요, 원래 목적은 봇과 사람...
토큰당 300KB에서 69KB로: LLM의 KV 캐시 문제, 대체 뭐가 문제이고 어떻게 풀고 있을까
## LLM이 긴 대화를 기억하려면 엄청난 메모리가 필요해요 ChatGPT나 Claude 같은 대규모 언어 모델(LLM)을 써보면, 대화가 길어질수록 응답이 느려지거나 비용이 올라가는 걸 느끼신 적 있을 거예요. 이게 단순히 "텍스트가 많아서"만...
AI가 만든 '슬롭웨어'가 소프트웨어의 미래? 꼭 그렇지만은 않다
## "슬롭(Slop)"이라는 불편한 단어 최근 AI 코딩 도구가 급속도로 퍼지면서, 개발 커뮤니티에서 **"슬롭(Slop)"**이라는 단어가 자주 등장하고 있어요. 슬롭은 원래 "질 낮은 음식물 찌꺼기" 같은 뜻인데요, 기술 업계에서는 AI가 ...
