이제 "AI가 코딩 잘한다"는 말은 더 이상 자랑거리도 아니다. 그냥 사실이다. 정작 흥미로운 질문은 따로 있다. "에이전트가 포켓몬을 깰 수 있을까?"
이건 사실 LLM 에이전트의 본질을 정확히 찌르는 질문이다. 코드 몇 줄 짜는 건 쉽다. 그런데 화면을 보고, 현재 위치를 기억하고, 목표를 잃지 않고, 벽에 박았을 때 "아 이거 아니네" 하고 다시 길을 찾는 것. 이 멍청할 정도로 단순한 루프를 현존 AI들은 의외로 잘 못한다.
이번 이벤트가 보여주려는 핵심은 "AI가 얼마나 똑똑한가"가 아니다. 왠만한 모델에게 포켓몬을 맡기면 같은 벽 앞에서 무한 루프를 돈다. 현재 위치도, 다음 목표도 안정적으로 기억하지 못하니까.
그래서 과제는 다음과 같다. "실패한 AI를 다시 목표로 돌려보낼 장치가 있는가?"
관찰하고, 다시 시도하고, 목표를 점검한다. 이 루프를 묶어주는 게 바로 하네스다. save state, memory, retry, goal check 같은 아이템을 조합해서 길 잃은 에이전트를 억지로 살아 움직이게 만드는 작업이다. 거창하게 "LLM agent benchmark" 운운하는 대신, 그냥 다 같이 포켓몬 하다가 AI가 정신 나가는 걸 구경하는 이벤트.
목표는 포켓몬 레드에서 초록마을 구간에 도달하기. 포켓몬 게임용 에이전트 하네스를 뜯고, 고치고, 살려낸다. 포켓몬을 정직하게 플레이하게 만들든, 미친 경로탐색 괴물을 만들든 수단은 자유다. 에이전트가 자율적으로 초록마을에 도달하기만 하면 된다.
참가자는 포켓몬 트레이너처럼 입장한다. AI가 헤매는 장면을 관찰하고(FIGHT), 실패 패턴을 도감처럼 기록하고(DEX), 하네스 아이템을 꺼내 조립하고(BAG), 수정한 하네스로 재도전한다(RUN). 마지막엔 진행 로그와 웃긴 장면을 다 같이 공유한다.
참가하면 무엇을 얻느냐. 솔직하게 적자면 에이전트 디버깅 PTSD, 지옥의 상태관리 시스템 만들기, 인간이 생각보다 robust한 존재였다는 깨달음, 그리고 운 좋으면 실제로 포켓몬 깨는 AI. 마지막 항목 빼고는 전부 보장된다.
ULWmon : Harness Hackathon은 6월 6일 토요일 11시부터 15시까지, 청담동 VYV House에서 열린다. 등록은 호스트 승인 후 확정된다. Backed by Hashed.
https://pokemondev.com
