hyuk's log

문장을 버린 모델, Jev — LLM이 애매했던 자리를 채우는 판단 모델

요즘 개발 커뮤니티를 보다 보면 'Jev'라는 이름이 부쩍 자주 보인다. TypeSafe라는 회사가 9월 중순에 공개한 System One 모델 Jev인데, 공개 후 2주 사이에 GeekNews에만 관련 글이 열 건 넘게 올라왔다. 호환 모델, 로컬 러너, 경쟁사의 대응까지 한꺼번에 나왔다. 모델 하나가 나왔다기보다 하나의 카테고리가 생기는 장면에 가깝다.처음엔 그냥 "작고 빠른 분류 모델" 정도로 생각했다. 근데 들여다볼수록 질문이 바뀌었다. 지금까지 모든 판단을 LLM에게 맡겨왔는데 — 애초에 문장을 만드는 모델이 필요한 판단이었나?Jev는 뭔가한 줄로 정리하면 이렇다.Jev는 문장을 생성하지 않는다. 미리 정해둔 선택지에 대해 값과 확률만 돌려준다.쓰는 법을 보면 바로 감이 온다. 판단할 대상(st..

요즘 AI 업계에서 가장 시끄러운 글은 새 모델 발표가 아니다. Anthropic CEO Dario Amodei가 쓴 We must pace the frontier다. 제목 그대로 "프런티어의 속도를 조절해야 한다"는 주장이고, 이번 주 Hacker News에서 추천 748개에 댓글 1049개가 붙었다.댓글이 추천보다 많다는 건 보통 하나를 뜻한다. 사람들이 동의한 게 아니라 갈라졌다는 것.1. 무슨 일이 있었나글의 내용먼저 오해를 하나 걷어내자. 이 글은 개발을 멈추자는 글이 아니다. Amodei가 말하는 pacing의 정의는 이렇다 — "기업이 모델을 정렬하고 안전장치를 붙이는 데 충분한 시간을 쓰고, 제3자 평가자가 그것을 확인할 시간을 보장하는 것." 중단이 아니라 속도 관리다.왜 지금이냐에 대한..

요즘 개발 트렌드를 따라가다 보면 AI가 무엇을 해냈다는 소식은 이제 놀랍지도 않다. 벤치마크 점수가 올랐다거나, 어떤 작업을 자동화했다거나. 그런데 지난주에 올라온 소식 하나는 결이 좀 달랐다.OpenAI가 밀레니엄 문제를 풀었다고 발표했다. 26년간 100만 달러가 걸려 있던 난제다.그리고 더 이상한 건 그 다음이다. Hacker News 한 주 상위권을 이 사건이 통째로 먹었는데, 정작 "어떻게 풀었나"를 얘기하는 사람은 거의 없었다. 사람들이 매달린 건 전혀 다른 질문이었다.이 글은 두 부분이다. 먼저 그 난제가 뭔지 수식 없이 정리하고, 그다음 왜 진짜 논쟁이 문제 해결이 아니라 문제를 푸는 방식에 붙었는지를 본다. 마지막은 내 생각이다 — 우리는 어떤 능력을 AI에 위임하고, 어떤 능력을 지켜..

요즘 개발 트렌드를 훑다 보면 모델 발표를 따라가는 것만으로도 하루가 간다. 지난 한 주가 특히 그랬다. Claude Fable 5.1과 Mythos 5.1, GPT-6 Astra, Gemini 3.8 Flash와 Flash Cyber, Meta의 Muse Spark 1.3. 여기에 GLM-5.3이 오픈 웨이트로 풀렸다. 엿새 만에 벌어진 일이다.그런데 Hacker News 최상위 댓글들의 반응이 이상했다. 축하가 아니라 피로였다. Fable 5.1 스레드는 추천 1404에 댓글 1372, GPT-6 Astra는 추천 1391에 댓글 1145. 점수와 댓글이 거의 1:1이면 그건 환영이 아니라 논쟁이다.숫자를 들여다보고 나서야 이유를 알았다. 이번 모델들은 대체로 더 똑똑해지지 않았다. 대신 같은 똑똑함..

요즘 Hacker News를 보다 보면 로컬 모델 이야기가 부쩍 자주 올라온다. 어제는 아예 1위가 그거였다. Meta가 공개한 Muse Glimmer, 300억 파라미터짜리 오픈 웨이트 모델이다. 2위와 두 배 이상 벌어졌다.그래서 뭐가 그렇게 대단한가 싶어 원문을 읽었다. Apache 2.0, 4비트로 압축해 20GB 미만, 소비자용 GPU 한 장이면 돈다. 상시 구동 로컬 에이전트에 맞춰 최적화했다고 한다.읽고 나서 든 생각은 좀 이상한 것이었다. 이 스펙 중에 새로운 게 하나도 없다.2년 전에도 30B는 들어갔다찾아보니 그렇다. 2024년 기준으로 24GB VRAM은 "20~35B 모델 티어"로 통했다. RTX 3090이나 4090 한 장이 플래그십 소비자 하드웨어의 스위트 스팟이었고, 거기 올라..

요즘 리팩터링 이야기를 꺼내기가 예전보다 어려워졌다. 에이전트가 코드를 쏟아내는 속도를 보고 있으면 "어차피 다시 쓸 건데 지금 정리해서 뭐 하나"라는 말이 자연스럽게 따라붙는다. 나도 그 말에 딱히 반박할 언어를 갖고 있지 않았다. 깨끗한 코드가 좋다는 건 다들 안다. 문제는 그게 늘 취향처럼 들린다는 거다.Martin Fowler 사이트에 올라온 The Economic Benefit of Refactoring은 그 취향을 숫자로 바꿔놓는다. 저자는 Giles Edwards-Alexander. 제목만 보면 "리팩터링의 경제적 가치"에 대한 원론적인 에세이 같지만, 실제로는 꽤 건조한 실험 리포트다. 리팩터링을 하면 에이전트가 같은 작업을 하는 데 드는 토큰이 얼마나 줄어드는가를 직접 쟀다.결론부터 쓰면..

요즘 개발 트렌드를 따라가다 보면 오픈 웨이트(open weights)라는 단어가 부쩍 자주 보인다. 그런데 지난주에는 그 단어를 두고 업계가 눈에 보이게 갈라졌다. 3일 간격으로 나온 두 문서 때문이다.하나는 7월 24일 NVIDIA가 호스팅한 공개서한 Open Weights and American AI Leadership이다. 서명한 조직이 77개다. Google, Microsoft, Meta, IBM, AMD, OpenAI, Mistral, Cohere, Hugging Face, The Linux Foundation, Mozilla, Ollama, GitHub, CrowdStrike, Cloudflare, Palantir, a16z, Y Combinator… 나열하다 지칠 정도로 업계 대부분이 들어..

요즘 새 모델이 나오면 벤치마크 표부터 본다. 몇 점 올랐나, 누구를 이겼나. 그렇게 보다가 잊는다.지난주 금요일에 나온 Claude Opus 5는 표를 읽다가 좀 이상한 기분이 들었다. 점수 자랑이 아니었다. 발표문의 벤치마크 문장이 대부분 "얼마에"로 끝난다. 몇 점이 아니라, 그 점수를 얼마에 냈는지가 주어처럼 붙어 있다.그리고 비슷한 시기에 올라온 다른 글이 훨씬 재미있었다. The new rules of context engineering for Claude 5 generation models. 새 모델을 어떻게 써야 하는지에 대한 글인데, 읽고 나면 앞의 발표문이 다르게 보인다. 두 글을 나란히 놓으면 하나의 이야기가 된다.모델이 스스로 확인하고 고칠 수 있게 되면, 우리가 할 일은 규칙을 더..

요즘 개발 트렌드를 따라가다 보면 중국 모델 이야기가 부쩍 자주 보인다. Kimi, Qwen 같은 이름이 하루가 멀다 하고 상위권에 올라온다. 성능이 좋아졌다는 얘기인 줄만 알았는데, 최근에 읽은 Ben Werdmuller의 글은 그걸 전략의 문제로 다시 잡아줬다. 제목부터 도발적이다 — "미국의 AI는 잠겨 있고 독점적이다. 그래서 지고 있다."막연하게 "중국 모델 좋아졌네" 하고 넘기던 흐름을, 폐쇄 대 개방이라는 지형도로 꽤 선명하게 정리해준 글이다. 개발자 입장에서 읽으면 남 얘기가 아니라서 정리해둔다.미국은 잠그고, 중국은 연다저자가 그리는 구도는 단순하다. 크게 두 갈래다.미국은 잠근다. GPU 수출 통제, 데이터 공유 규제. 중국이 글로벌 시장에 중앙화된 AI 서비스를 제공하지 못하도록 막는..

요즘 실시간 음성/영상 기능을 붙일 때 Agora 같은 상용 솔루션을 쓰는 게 거의 기본값이 됐다. SDK 몇 줄이면 join() 한 번에 음성이 흐른다. 편하다. 근데 그 편함이 오히려 불편했다. 저 안에서 무슨 일이 일어나는지 모른 채 그냥 배관공을 부르는 느낌이랄까.그래서 도입 전에 밑바닥을 직접 만들어봤다. 1:1 통화부터 시작해 다중 방송자 SFU까지, WebSocket과 WebRTC만으로 단계적으로 쌓아 올리는 PoC다. 각 단계에서 한계를 몸으로 겪고, 그걸 푸는 다음 단계로 넘어가는 방식으로. 그리고 마지막에 이 구조를 Agora로 옮기면 Agora의 각 솔루션이 정확히 어느 부분을 대신해주는지 정리했다.결론부터 말하면 — 벤더를 붙여도 사라지지 않는 부분과 벤더가 대신해주는 부분의 경계가..