Pokemondev.com Harness Hackathon은 6월 6일, Hashed가 운영하는 해커하우스 vyvhouse에서 열린 실험적 해커톤이다. 출발점은 단순했다. “AI 에이전트를 통해 모든 것을 자동화할 수 있다면, 게임도 그렇게 플레이할 수 있을까?” 포켓몬이라는 익숙한 게임을 무대로 삼았지만, 실제 주제는 게임 클리어가 아니라 에이전트가 세계를 보고, 판단하고, 행동하고, 실패를 복구하며, 장기 목표를 수행할 수 있는지를 검증하는 것이었다.
이 행사는 단순한 자동 플레이 봇 대회가 아니었다. 참가자들은 포켓몬을 하나의 에이전트 하네스 실험장으로 다뤘다. 에이전트가 화면을 관찰하고, RAM 상태를 읽고, 짧은 행동을 실행하고, 결과를 다시 확인하며, 기억과 세이브포인트를 통해 진행을 이어갈 수 있는지 테스트했다. 겉으로는 “AI가 포켓몬을 할 수 있나?”였지만, 안쪽 질문은 훨씬 컸다. “AI 에이전트가 복잡한 환경에서 실제 사용자처럼 행동할 수 있는가?” “자동화는 어디까지 게임 경험 안으로 들어올 수 있는가?”였다.
참가자들은 금방 깨달았다. 포켓몬은 생각보다 어렵다. 좌표만으로는 길을 찾을 수 없고, 화면을 보지 않으면 울타리, NPC, 문, 표지판, 막힌 길을 이해할 수 없다. 대화창이 떠 있는지, 전투 메뉴인지, 건물 안인지 바깥인지도 구분해야 한다. 한 참가자는 “에이전트가 멍청한 줄 알았는데, 사실 우리가 눈을 안 달아준 거였다”고 말했다. 또 다른 참가자는 “스크린샷 한 장이 로그 백 줄보다 낫다”고 했다. 숫자 상태는 필요하지만, 게임의 진짜 맥락은 화면 위에서 드러났다.
가장 큰 교훈은 “모델이 얼마나 똑똑한가”보다 “하네스가 얼마나 잘 설계됐는가”였다. 처음에는 에이전트에게 “북쪽으로 가서 상점에 들어가라”처럼 긴 명령을 줬지만, 한 칸만 어긋나도 전체 계획이 무너졌다. NPC에 부딪히거나 대화창이 뜨면 입력의 의미가 바뀌었다. 결국 참가자들은 2~4개 정도의 짧은 액션을 실행한 뒤, 바로 스크린샷과 상태를 다시 확인하는 방식으로 바꿨다. 누군가는 “장기 추론보다 어려운 건 두 칸 걷고 멈추는 절제였다”고 했고, 또 누군가는 “우리는 더 똑똑한 프롬프트를 원했는데, 실제로 필요했던 건 더 짧은 액션 리스트였다”고 말했다.
흥미로운 점은, 이 과정이 단순한 자동화가 아니라 새로운 형태의 게임 경험으로 받아들여졌다는 것이다. 참가자들은 직접 버튼을 누르는 대신 에이전트에게 훈수두듯 지시하고, 화면을 보며 판단을 교정하고, 실패를 관찰했다. 어떤 참가자는 “내가 직접 게임하는 것보다, 에이전트가 게임하는 걸 코칭하는 게 더 재미있다”고 말했다. 또 다른 참가자는 “이건 자동사냥이 아니라 AI한테 옆에서 잔소리하면서 같이 모험하는 느낌”이라고 했다. 손으로 조작하는 플레이어가 아니라, 목표를 정하고 전략을 주고 에이전트의 행동을 감독하는 메타 플레이어가 된 셈이다.
이 지점에서 Pokemondev.com Harness Hackathon은 게임 속 봇에 대한 기존 관념도 흔들었다. 지금까지 게임에서 봇은 대체로 막아야 하는 존재였다. 자동 파밍, 부정 플레이, 경쟁 환경 훼손, 게임 경제 교란의 상징이었다. 하지만 이번 실험은 다른 가능성을 보여줬다. 통제된 환경, 명확한 신원인증, 공개된 규칙, 제한된 권한이 있다면 에이전트도 일종의 게이머가 될 수 있다는 가능성이다. 봇을 무조건 차단해야 할 침입자로만 볼 것이 아니라, 인증된 에이전트 플레이어, 관전 가능한 자동 플레이어, 혹은 인간 게이머의 보조 조종자로 설계할 수 있다는 발상이다.
물론 가능성만큼 한계도 선명했다. 에이전트는 쉽게 길을 잃었고, 같은 벽에 반복해서 부딪혔고, 문을 나왔다가 다시 들어갔고, 전투 메뉴에서 엉뚱한 선택을 하기도 했다. 하지만 그 실패가 오히려 행사의 재미이자 배움이었다. “웃긴 장면일수록 시스템 버그가 선명하게 보였다”는 말처럼, 포켓몬은 에이전트의 오해를 눈으로 확인할 수 있는 좋은 실험장이었다. 자연어 벤치마크에서는 잘 보이지 않는 관찰 실패, 행동 실패, 기억 실패, 복구 실패가 화면 위에서 아주 생생하게 드러났다.
참가자들은 이런 말을 남겼다.
“포켓몬에서 배운 건 포켓몬이 아니라 관찰 가능성이었다.”
“AI가 게임을 플레이하는 게 아니라, 우리가 AI가 세계를 오해하는 방식을 플레이하고 있었다.”
“챔피언로드보다 어려운 건 관찰 루프였고, 사천왕보다 중요한 건 세이브 습관이었다.”
“좋은 에이전트는 천재가 아니라 꼼꼼한 여행자에 가깝다. 지도 보고, 한 걸음 가고, 다시 확인한다.”
“봇을 막아야 한다는 말은 절반만 맞다. 문제는 봇의 존재가 아니라, 신원도 규칙도 없는 봇이다.”
결국 Pokemondev.com Harness Hackathon이 던진 질문은 “AI가 포켓몬을 대신 깰 수 있는가?”보다 깊다. 이 행사는 “AI와 함께 게임한다는 것은 어떤 경험인가?”를 물었다. 에이전트 시대의 자동화는 단지 인간의 행동을 대체하는 것이 아니라, 인간이 목표를 주고, 에이전트가 실행하고, 인간이 다시 감독하는 새로운 인터페이스가 될 수 있다. 게임에서도 마찬가지다. 인간은 직접 조작하는 플레이어일 수도 있지만, 에이전트를 훈련시키고, 지켜보고, 교정하고, 함께 모험하는 플레이어가 될 수도 있다.
vyvhouse에서 열린 이 해커톤은 귀여운 포켓몬 화면을 통해 아주 진지한 가능성을 보여줬다. 에이전트는 모든 것을 자동화할 수 있는가. 게임은 그 자동화를 받아들일 수 있는가. 봇은 언제나 적인가, 아니면 인증되고 통제된 조건 아래 새로운 게이머가 될 수 있는가. 답은 아직 완성되지 않았지만, 참가자들은 적어도 한 가지를 확인했다. 에이전트가 세계를 배우는 과정을 인간이 옆에서 지켜보고 훈수두는 일은, 생각보다 훨씬 재미있다.
