One of the most compelling narratives in recent AI development runs as follows: if training-time scaling (more parameters, more data) is hitting diminishing returns, we can shift compute to inference time. Let the model "think longer"—generate longer chains of thought, explore more reasoning paths, verify its own work—and performance will improve. This narrative has driven the development of reasoning models like OpenAI's o1 series and DeepSeek-R1, which generate substantially longer outputs than their predecessors in exchange for improved accuracy on hard problems.

The narrative is appealing because it offers a seemingly unlimited scaling axis. Training compute is bounded by data availability and hardware cost, but inference compute can be scaled per-problem, allocated dynamically, and improved without retraining. If longer thinking always helps, the path forward is clear.

But what if longer thinking does not always help?

Recent empirical findings (arXiv:2502.12215, 2025; arXiv:2501.19393, EMNLP 2025) present a more complicated picture. The central finding, as reported in the abstracts: longer chain-of-thought does not always produce better results. On the same problem, correct solutions are on average shorter than incorrect ones. And parallel scaling—generating multiple independent solutions and selecting among them—may be more efficient than sequential scaling, where a single reasoning chain is extended.

These results do not invalidate test-time compute scaling. But they constrain it in ways the field needs to internalize.

The Research Landscape

Test-time compute scaling has become a major research direction since 2024. The core idea is that inference-time computation—chain-of-thought generation, self-verification, tree search over reasoning paths—can substitute for or complement training-time scaling. Several model families have been built around this principle, allocating substantially more inference compute to hard problems.

The theoretical appeal is clear. Training-time scaling requires retraining the model, which is expensive and slow. Inference-time scaling is dynamic: easy problems get short chains, hard problems get long chains, and compute is allocated where it is needed. This adaptive allocation should be more efficient than uniformly scaling the model.

The empirical success has been real. Models that generate longer reasoning traces outperform their base models on mathematics, coding, and scientific reasoning benchmarks. The question is not whether test-time compute helps—it clearly does, in many settings. The question is whether more test-time compute always helps more, or whether there are diminishing returns, failure modes, and counterintuitive dynamics.

The Length Paradox

The most striking finding from this body of work is what might be called the length paradox: on the same problem, correct solutions tend to be shorter than incorrect ones.

This is counterintuitive. If longer reasoning allows the model to consider more possibilities, check more steps, and recover from errors, then correct solutions should be at least as long as incorrect ones. The model should use the extra length to verify and correct its work.

Instead, the data suggests a different dynamic. When a model is on the right track—when its initial approach to a problem is sound—the solution unfolds relatively efficiently. When the model is on the wrong track, it generates additional tokens attempting to recover: backtracking, trying alternative approaches, re-deriving results. This additional computation is not productive exploration; it is floundering.

The implication is that chain-of-thought length is partly a symptom rather than a cause: correct reasoning tends to be concise, and incorrect reasoning tends to be verbose. The relationship is statistical—individual problems may genuinely require long chains—but the aggregate pattern suggests that using chain length as a proxy for reasoning quality is misleading.

Sequential vs. Parallel Scaling

The second major finding concerns the relative efficiency of two approaches to allocating test-time compute:

Sequential scaling extends a single reasoning chain. The model thinks longer about one problem, generating more tokens, exploring more steps, verifying more intermediate results. This is the approach used by most current reasoning models.

Parallel scaling generates multiple independent solutions to the same problem and selects among them (e.g., by majority vote or a verifier model). Each individual solution may be shorter, but the diversity of approaches increases the probability that at least one is correct.

The finding reported in the abstracts: parallel scaling may be more efficient than sequential scaling. Generating N short solutions and selecting the best one can outperform generating one solution that is N times longer.

This result has practical significance. Parallel generation is easier to distribute across hardware, easier to implement, and provides a natural confidence signal (if 8 of 10 solutions agree, confidence is higher than if 5 of 10 agree). Sequential generation requires the model to maintain coherence over very long contexts, which introduces additional failure modes (context window limitations, attention degradation, coherence drift).

The theoretical explanation may connect to exploration-exploitation tradeoffs: parallel generation explores multiple paths, while sequential extension deepens one. For problems where finding the right approach matters more than thorough execution, parallel scaling should dominate.

Critical Analysis: Claims and Evidence

Open Questions

What This Means for Your Research

These findings are a healthy correction to an emerging assumption: test-time compute scaling is valuable, but not without limits. Practitioners should monitor the length-accuracy relationship in their domains, and researchers may find hybrid approaches—parallel exploration followed by selective deepening—more effective than pure sequential extension.

Explore related work through ORAA ResearchBrain.

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 검증해야 한다.

더 오래 생각할수록 더 많이 틀린다: 테스트 시간 연산의 반직관적 한계

최근 AI 개발에서 가장 설득력 있는 서사 중 하나는 다음과 같다: 만약 훈련 시간 스케일링(더 많은 파라미터, 더 많은 데이터)이 수확 체감에 직면하고 있다면, 연산을 추론 시간으로 전환할 수 있다. 모델이 "더 오래 생각"하도록—더 긴 사고의 연쇄를 생성하고, 더 많은 추론 경로를 탐색하며, 자신의 작업을 검증하도록—하면 성능이 향상될 것이다. 이 서사는 OpenAI의 o1 시리즈와 DeepSeek-R1과 같은 추론 모델 개발을 이끌었는데, 이 모델들은 어려운 문제에서 향상된 정확도를 대가로 이전 모델보다 훨씬 더 긴 출력을 생성한다.

이 서사가 매력적인 이유는 겉보기에 무한한 스케일링 축을 제공하기 때문이다. 훈련 연산은 데이터 가용성과 하드웨어 비용에 의해 제한되지만, 추론 연산은 문제별로 스케일링할 수 있고, 동적으로 할당할 수 있으며, 재훈련 없이도 개선할 수 있다. 더 오래 생각하는 것이 항상 도움이 된다면, 나아갈 방향은 분명하다.

그런데 더 오래 생각하는 것이 항상 도움이 되지 않는다면 어떨까?

최근의 실증적 연구 결과(arXiv:2502.12215, 2025; arXiv:2501.19393, EMNLP 2025)는 보다 복잡한 양상을 제시한다. 초록에서 보고된 핵심 발견은 다음과 같다: 더 긴 사고의 연쇄(chain-of-thought)가 항상 더 나은 결과를 생성하지는 않는다. 동일한 문제에서 정답 풀이는 평균적으로 오답 풀이보다 짧다. 그리고 병렬 스케일링—여러 개의 독립적인 풀이를 생성하고 그 중에서 선택하는 방식—이 단일 추론 연쇄를 연장하는 순차적 스케일링보다 더 효율적일 수 있다.

이러한 결과가 테스트 시간 연산 스케일링을 무효화하는 것은 아니다. 그러나 이는 이 분야가 내면화해야 할 방식으로 스케일링을 제한한다.

연구 현황

테스트 시간 연산 스케일링은 2024년 이후 주요 연구 방향이 되었다. 핵심 아이디어는 추론 시간 연산—사고의 연쇄 생성, 자기 검증, 추론 경로에 대한 트리 탐색—이 훈련 시간 스케일링을 대체하거나 보완할 수 있다는 것이다. 여러 모델 계열이 이 원칙을 중심으로 구축되어 어려운 문제에 훨씬 더 많은 추론 연산을 할당하고 있다.

이론적 매력은 분명하다. 훈련 시간 스케일링은 모델을 재훈련해야 하므로 비용이 많이 들고 느리다. 추론 시간 스케일링은 동적이다: 쉬운 문제는 짧은 연쇄를 사용하고, 어려운 문제는 긴 연쇄를 사용하며, 연산은 필요한 곳에 할당된다. 이러한 적응형 할당은 모델을 균일하게 스케일링하는 것보다 더 효율적이어야 한다.

실증적 성공은 실재했다. 더 긴 추론 궤적을 생성하는 모델은 수학, 코딩, 과학적 추론 벤치마크에서 기반 모델을 능가한다. 문제는 테스트 시간 연산이 도움이 되는지가 아니다—많은 환경에서 분명히 도움이 된다. 문제는 더 많은 테스트 시간 연산이 항상 더 많이 도움이 되는지, 아니면 수확 체감, 실패 양상, 반직관적 역학이 존재하는지이다.

길이 역설

이 연구 분야에서 가장 놀라운 발견은 길이 역설이라고 부를 수 있는 것이다: 동일한 문제에서 정답 풀이는 오답 풀이보다 짧은 경향이 있다.

이는 반직관적이다. 더 긴 추론이 모델로 하여금 더 많은 가능성을 고려하고, 더 많은 단계를 확인하며, 오류를 수정할 수 있게 한다면, 정답 풀이는 적어도 오답 풀이만큼 길어야 한다. 모델은 추가적인 길이를 활용해 자신의 작업을 검증하고 수정해야 한다.

그러나 데이터는 다른 역학을 시사한다. 모델이 올바른 방향에 있을 때—문제에 대한 초기 접근 방식이 건전할 때—풀이는 비교적 효율적으로 전개된다. 모델이 잘못된 방향에 있을 때는 되돌아가거나, 대안적 접근 방식을 시도하거나, 결과를 재도출하려는 시도로 추가적인 토큰을 생성한다. 이러한 추가적인 연산은 생산적인 탐색이 아니라 허우적거림이다. 이는 사고 연쇄(chain-of-thought)의 길이가 원인이라기보다 부분적으로는 결과임을 시사한다. 올바른 추론은 간결한 경향이 있고, 잘못된 추론은 장황한 경향이 있다. 이 관계는 통계적인 것으로—개별 문제는 실제로 긴 연쇄를 필요로 할 수도 있다—그러나 전체적인 패턴은 연쇄 길이를 추론 품질의 대리 지표로 사용하는 것이 오해를 불러일으킴을 시사한다.

순차적 확장 vs. 병렬 확장

두 번째 주요 발견은 테스트 시간 컴퓨팅(test-time compute)을 할당하는 두 가지 접근 방식의 상대적 효율성에 관한 것이다.

순차적 확장(sequential scaling)은 단일 추론 연쇄를 확장한다. 모델은 하나의 문제에 대해 더 오래 생각하며, 더 많은 토큰을 생성하고, 더 많은 단계를 탐색하고, 더 많은 중간 결과를 검증한다. 이는 현재 대부분의 추론 모델이 사용하는 접근 방식이다.

병렬 확장(parallel scaling)은 동일한 문제에 대해 여러 개의 독립적인 해답을 생성하고 그 중에서 선택한다(예: 다수결 투표 또는 검증기 모델 사용). 각각의 개별 해답은 더 짧을 수 있지만, 접근 방식의 다양성이 적어도 하나가 정확할 확률을 높인다.

초록에서 보고된 발견은 다음과 같다: 병렬 확장이 순차적 확장보다 더 효율적일 수 있다. N개의 짧은 해답을 생성하고 최선의 것을 선택하는 것이, N배 더 긴 하나의 해답을 생성하는 것보다 더 나은 성능을 보일 수 있다.

이 결과는 실용적인 의미를 지닌다. 병렬 생성은 하드웨어에 걸쳐 분산하기 더 쉽고, 구현하기 더 쉬우며, 자연스러운 신뢰도 신호를 제공한다(10개의 해답 중 8개가 일치하면 10개 중 5개가 일치할 때보다 신뢰도가 높다). 순차적 생성은 모델이 매우 긴 문맥에 걸쳐 일관성을 유지하도록 요구하는데, 이는 추가적인 실패 양상(문맥 창 제한, 어텐션 저하, 일관성 표류)을 야기한다.

이론적 설명은 탐색-활용 트레이드오프(exploration-exploitation tradeoff)와 연결될 수 있다. 병렬 생성은 여러 경로를 탐색하는 반면, 순차적 확장은 하나를 깊이 파고든다. 철저한 실행보다 올바른 접근 방식을 찾는 것이 더 중요한 문제의 경우, 병렬 확장이 우세해야 한다.

비판적 분석: 주장과 근거

미해결 질문

연구에 대한 시사점

이러한 발견은 새롭게 부상하는 가정에 대한 건전한 수정을 제시한다: 테스트 시간 컴퓨팅 확장은 가치 있지만, 한계가 없는 것은 아니다. 실무자들은 자신의 도메인에서 길이-정확도 관계를 모니터링해야 하며, 연구자들은 순수한 순차적 확장보다 병렬 탐색 후 선택적 심화를 결합한 하이브리드 접근법이 더 효과적임을 발견할 수 있다.

관련 연구는 ORAA ResearchBrain을 통해 탐색할 수 있다.