딥시크 에이전트 기능, 벤치마크만 믿긴 이르다

이번 버전에서 강화된 에이전트 기능

딥시크는 2026년 7월 31일 V4-Flash의 공식판(0731 빌드)을 공개 베타로 내놓았다. 눈에 띄는 점은 모델 구조나 크기를 바꾼 게 아니라 후처리(post-training)를 다시 했다는 것이다. 이 과정에서 도구 호출 방식, 요청을 거부하는 행동, 출력 길이 같은 에이전트로서의 습관이 조정됐다.

딥시크가 내세우는 활용처는 분명하다. 터미널·셸에서 긴 작업을 이어서 수행하고, 자연어 설명만으로 코드 저장소를 만들고, 여러 도구를 번갈아 부르며 소프트웨어 이슈를 해결하는 식이다. 보안·CTF 스타일의 추론도 강점으로 꼽는다. 업무 자동화에 에이전트를 붙이려는 쪽에서 관심을 가질 만한 방향이다.

문제는 그 점수를 믿을 수 있느냐

Al Nahian

딥시크는 공식 V4-Flash가 9개 에이전트 벤치마크에서 자사의 이전 프리뷰 버전을 상당히 앞섰다고 밝혔다. 대표적으로 터미널 작업 능력을 재는 Terminal Bench 2.1에서 82.7점을 제시했다.

여기서 한 걸음 물러설 필요가 있다. 에이전트 벤치마크 점수는 모델을 감싸는 실행 환경(harness)에 매우 민감하다. 같은 모델이라도 도구를 어떻게 연결하고 재시도를 몇 번 허용하느냐에 따라 점수가 출렁인다. 그래서 업계에서는 이런 수치를 독립적으로 재현하기 전까지 '벤더가 자기 환경에서 낸 값'으로 보라고 조언한다. 게다가 이 점수들은 대부분 딥시크가 자사 프리뷰와 비교한 것이지, 최상위 경쟁 모델과 같은 조건에서 겨룬 결과가 아니다.

독립 평가는 다르게 말한다

외부 평가를 보면 결이 달라진다. 미국 상무부 산하 CAISI가 5개 분야 9개 벤치마크로 V4 Pro를 시험한 결과, 딥시크의 역량이 최첨단 기술보다 약 8개월 뒤처진다고 봤다. 비공개 데이터셋에서는 자체 발표보다 성능이 낮게 나왔다. 사우스차이나모닝포스트도 최신 V4 Pro가 샌드박스 터미널 작업과 엑셀 금융 모델 생성에서 고전했다고 전했다.

항목	딥시크 자체 발표	외부·독립 평가
에이전트 성능	프리뷰 대비 대폭 상승	최첨단 대비 약 8개월 격차
강점 분야	코딩·터미널	사이버보안에서 호평
가격	출력 100만 토큰 $3.48	GPT-5.4보다 약 87% 저렴

엇갈리는 평가 속에서 비교적 일관된 것은 두 가지다. 가격이 확실히 싸다는 점, 그리고 사이버보안 같은 특정 영역에서는 외부 연구자들도 인정한다는 점이다.

도입 전 직접 확인할 것

결국 판단 기준은 벤치마크 순위표가 아니라 내 업무다. 도입을 검토한다면 아래를 직접 확인하는 편이 낫다.

• 실제 업무 재현: 회사에서 실제로 시킬 작업 몇 개를 그대로 던져 성공률과 실패 양상을 본다.
• 비용 대비 효과: 값이 싼 만큼, 실패 후 재시도까지 포함한 실질 비용으로 비교한다.
• 기능 한계: 현재 텍스트 전용이라 이미지·화면을 다뤄야 하는 업무에는 맞지 않는다.
• 운영 안정성: 프리뷰 단계에서는 서비스 수준 보장이나 버전 유지 기간이 불확실할 수 있다.
• 법적 리스크: 앤스로픽은 딥시크가 자사 모델의 능력을 부정하게 빼냈다고 의회에 주장했다. 아직 법적으로 확정된 사안은 아니지만, 향후 API 접근 제약 같은 변수로 이어질 가능성은 염두에 둘 만하다.

싼값과 공개 가중치는 매력적이다. 다만 '에이전트 벤치마크 1위' 같은 문구보다, 내 워크플로에서 며칠 돌려본 결과가 도입 여부를 더 정확히 말해준다.

출처

1. DeepSeek-V4-Flash Goes Official: Agent Benchmarks
2. CAISI Evaluation of DeepSeek V4 Pro - NIST
3. DeepSeek's updated V4 Pro AI model struggles on benchmarks, shines in cybersecurity
4. DeepSeek V4 Review 2026: Benchmarks, Pricing & Distillation Controversy