Time series data is traditionally analyzed as sequences of discrete observations: values at times t₁, t₂, ..., tₙ. This discrete representation is convenient for computation but discards an important structure: the underlying process that generated the observations is continuous. A sensor reading at 10:00:01 is not independent of the reading at 10:00:02—they are samples from a smooth underlying function that varies continuously in time.

Functional data analysis (FDA) embraces this continuity. Rather than treating observations as vectors of numbers, FDA treats each time series as a sample from a space of functions—an element of an infinite-dimensional function space (typically a Hilbert space). This perspective unlocks mathematical tools—functional principal component analysis, functional regression, reproducing kernel Hilbert spaces—that capture temporal structure more faithfully than their finite-dimensional counterparts.

Sun et al.'s FDALLM+ demonstrates a novel integration: using FDA to preprocess time series data before feeding it to large language models for prediction. Ju & Lee evaluate FDA-based feature extraction for manufacturing quality prediction. Together, they illustrate how FDA bridges the gap between the rich mathematical theory of function spaces and the practical needs of modern prediction systems.

Why Functions, Not Vectors?

The functional perspective offers three advantages over the vector perspective:

Smoothness constraints: Real physical processes are typically smooth—temperature doesn't jump discontinuously, network traffic doesn't teleport between values. FDA enforces smoothness through basis expansion (representing each curve as a weighted combination of smooth basis functions like B-splines or Fourier series), eliminating measurement noise while preserving genuine signal structure.

Phase variation: Two time series may represent the same underlying pattern shifted in time—a daily traffic pattern that peaks at 9am in one city and 10am in another. Standard vector methods treat these as different signals; FDA's registration techniques align them, revealing the common pattern.

Dimension reduction: Functional PCA extracts the principal modes of variation in a collection of curves—the dominant shapes that explain most of the variability. For network traffic, these modes might represent daily patterns, weekly cycles, and anomalous events. Each curve is then represented by a small number of functional PC scores rather than hundreds of discrete time points.

FDALLM+: Functions as LLM Input

Sun et al.'s FDALLM+ uses FDA preprocessing to transform raw network traffic time series into functional representations before feeding them to a large language model for prediction. The pipeline:

The FDA preprocessing addresses a limitation of LLMs for time series: LLMs operate on discrete tokens and do not naturally encode the continuous temporal structure of time series data. By first projecting into functional space, FDALLM+ provides the LLM with representations that already encode temporal smoothness, periodicity, and dominant variation patterns.

Manufacturing Quality: FDA for Sensor Data

Ju & Lee apply FDA to a different domain: semiconductor manufacturing, where sensor data from production equipment is used to predict wafer quality. Manufacturing sensor data is high-frequency, high-dimensional, and temporally structured—characteristics that make it an ideal candidate for FDA.

Their comparison of FDA-based features versus summary statistics (mean, variance, skewness) for supervised learning shows that FDA features—functional PC scores—capture temporal patterns (waveform shapes, transient dynamics) that summary statistics miss. For quality prediction tasks where the temporal shape of sensor readings matters more than their average value, FDA features provide measurable improvement.

Claims and Evidence

Open Questions

What This Means for Your Research

For statisticians, FDA provides a mathematically rigorous framework for time series analysis that respects the continuous nature of temporal data. The theory is mature; the applications are expanding rapidly as data collection becomes higher-frequency and more continuous.

For ML practitioners, FDA preprocessing (basis expansion + functional PCA) provides a principled alternative to ad hoc feature engineering for time series data. The FDALLM+ integration demonstrates that this preprocessing is compatible with modern deep learning architectures.

For domain scientists in manufacturing, telecommunications, and environmental monitoring, FDA offers interpretable features (principal modes of variation) that domain experts can inspect and relate to physical processes—a transparency advantage over black-box feature extraction.

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 반드시 확인해야 한다.

함수형 데이터 분석과 LLM의 만남: 시계열을 수학적 함수로 처리하기

시계열 데이터는 전통적으로 이산 관측값의 시퀀스, 즉 시각 t₁, t₂, ..., tₙ에서의 값들로 분석된다. 이러한 이산 표현은 계산상 편리하지만 중요한 구조를 버린다는 문제가 있다. 관측값을 생성한 기저 과정(underlying process)은 연속적이다. 10:00:01의 센서 측정값은 10:00:02의 측정값과 독립적이지 않으며, 이들은 시간에 따라 연속적으로 변화하는 매끄러운 기저 함수로부터 추출된 표본이다.

함수형 데이터 분석(Functional Data Analysis, FDA) 은 이러한 연속성을 수용한다. FDA는 관측값을 숫자 벡터로 처리하는 대신, 각 시계열을 함수 공간의 표본, 즉 무한 차원 함수 공간(일반적으로 Hilbert 공간)의 원소로 취급한다. 이 관점은 함수형 주성분 분석(functional principal component analysis), 함수형 회귀(functional regression), 재생 핵 Hilbert 공간(reproducing kernel Hilbert spaces) 등의 수학적 도구를 활용할 수 있게 하며, 이러한 도구들은 유한 차원의 대응물보다 시간적 구조를 더 충실하게 포착한다.

Sun et al.의 FDALLM+는 새로운 통합 방식을 제시한다. FDA를 사용하여 시계열 데이터를 전처리한 후 예측을 위한 대규모 언어 모델(large language model, LLM)에 입력하는 방식이다. Ju & Lee는 제조 품질 예측을 위한 FDA 기반 특징 추출(feature extraction)을 평가한다. 이 두 연구는 함수 공간의 풍부한 수학적 이론과 현대 예측 시스템의 실용적 요구 사이의 간극을 FDA가 어떻게 메우는지를 잘 보여준다.

왜 벡터가 아닌 함수인가?

함수적 관점은 벡터적 관점에 비해 세 가지 장점을 제공한다.

평활성 제약(Smoothness constraints): 실제 물리적 과정은 일반적으로 매끄럽다. 온도는 불연속적으로 급변하지 않으며, 네트워크 트래픽은 값 사이를 순간 이동하지 않는다. FDA는 기저 전개(basis expansion), 즉 각 곡선을 B-스플라인(B-splines)이나 푸리에 급수(Fourier series)와 같은 매끄러운 기저 함수들의 가중 조합으로 표현함으로써 평활성을 보장하고, 측정 잡음을 제거하는 동시에 실제 신호 구조를 보존한다.

위상 변동(Phase variation): 두 시계열은 시간 이동만 다를 뿐 동일한 기저 패턴을 나타낼 수 있다. 예를 들어, 한 도시에서는 오전 9시에, 다른 도시에서는 오전 10시에 정점을 보이는 일일 교통 패턴이 그 예이다. 표준 벡터 방법은 이를 서로 다른 신호로 처리하지만, FDA의 등록(registration) 기법은 이를 정렬하여 공통 패턴을 드러낸다.

차원 축소(Dimension reduction): 함수형 PCA는 곡선 집합에서 주요 변동 모드(principal modes of variation), 즉 대부분의 변동성을 설명하는 지배적인 형태를 추출한다. 네트워크 트래픽의 경우, 이러한 모드는 일별 패턴, 주별 주기, 그리고 이상 이벤트를 나타낼 수 있다. 이로써 각 곡선은 수백 개의 이산 시점 대신 소수의 함수형 PC 점수(functional PC scores)로 표현된다.

FDALLM+: LLM 입력으로서의 함수

Sun et al.의 FDALLM+는 FDA 전처리를 사용하여 원시 네트워크 트래픽 시계열을 함수형 표현으로 변환한 후, 예측을 위한 LLM에 입력한다. 처리 파이프라인은 다음과 같다.

FDA 전처리는 시계열에 대한 LLM의 한계를 보완한다. LLM은 이산 토큰을 기반으로 동작하며, 시계열 데이터의 연속적인 시간적 구조를 자연스럽게 인코딩하지 못한다. FDALLM+는 먼저 함수 공간으로 투영함으로써, 시간적 평활성, 주기성, 그리고 주요 변동 패턴을 이미 인코딩한 표현을 LLM에 제공한다.

제조 품질: 센서 데이터를 위한 FDA

Ju & Lee는 FDA를 다른 도메인인 반도체 제조에 적용한다. 이 도메인에서는 생산 장비의 센서 데이터를 웨이퍼 품질 예측에 활용한다. 제조 센서 데이터는 고주파수, 고차원, 시간 구조적 특성을 지니며, 이는 FDA의 이상적인 적용 대상이 된다.

지도 학습에서 FDA 기반 특성과 요약 통계량(평균, 분산, 왜도)을 비교한 결과, FDA 특성인 함수형 PC 점수가 요약 통계량으로는 포착하지 못하는 시간적 패턴(파형 형태, 과도 동특성)을 잡아낸다는 것이 드러난다. 센서 측정값의 평균보다 시간적 형태가 더 중요한 품질 예측 과제에서 FDA 특성은 측정 가능한 성능 향상을 제공한다.

주장과 근거

미해결 문제

연구에 주는 시사점

통계학자에게 FDA는 시간적 데이터의 연속적 특성을 존중하는 수학적으로 엄밀한 시계열 분석 프레임워크를 제공한다. 이론은 성숙해 있으며, 데이터 수집이 고주파수화·연속화됨에 따라 응용은 빠르게 확장되고 있다.

ML 실무자에게 FDA 전처리(기저 전개 + 함수형 PCA)는 시계열 데이터에 대한 임기응변식 특성 공학의 원칙적 대안을 제공한다. FDALLM+ 통합은 이 전처리가 현대 딥러닝 아키텍처와 호환됨을 실증한다.

제조, 통신, 환경 모니터링 분야의 도메인 과학자에게 FDA는 해석 가능한 특성(변동의 주요 모드)을 제공하여, 도메인 전문가가 이를 검토하고 물리적 과정과 연결할 수 있게 한다. 이는 블랙박스 특성 추출에 비해 투명성 면에서 장점이 된다.