Liquid Neural Networks: Next-Generation AI for Telecom from First Principles(3 Apr 2025)

* 원문 논문 아카이브

https://arxiv.org/abs/2504.02352

Liquid Neural Networks: Next-Generation AI for Telecom from First Principles

 

Abstract

• AI는 차세대 무선 네트워크를 재편할 엄청난 잠재력을 지닌 변혁적인 기술로 부상.
• 다만, 견고성(Robustness), 해석 가능성(Interpretability) 측면에서 상당한 도전에 직면하고 이것은 통신 시스템에 장애물.
• 이 문제를 해결하기 위해 '제 1원리(First principles)' 로 부터 설계된 LNN.

1. Introduction

• 6세대(6G) 무선 통신 네트워크는 AI를 촉매제로 통신 환경에 혁명을 일으킬 것으로 예상.
• 홀로그래픽 텔레프레즌(Holographic Telepresence), 택타일 인터넷(Tactile Internet),  지능형 자율 시스템, 스마트 시티와 같은 획기적인 애플리케이션을 촉진.
• 하지만 실제 통신 시나리오에 AI를 배포하는 것은 여전히 어려운 과제.

Fig. 1. 6G communication scenarios with AI integration.

1) 견고성(Robustness) 문제

• 현재 AI 모델은 데이터 분포가 변화하는 동적이고 예측 불가능한 환경에서 성능 유지를 못함.
• 무선 네트워크의 사용자 이동성, 변화하는 신호 조건, 간섭이 변동을 일으킬 수 있음.
• 적응형 AI 모델의 개발이 필요.

2) 해석 가능성(Interpretability) 문제

• 많은 AI 알고리즘의 블랙박스 특성은 의사 결정 과정을 이해하고 설명하는데 상당한 어려움 제기.
• 안전성, 투명성, 공정성에 대한 우려를 제기.

3) 복잡성(Complexity) 문제

• 딥러닝 아키텍처를 상당한 계산 자원과 복잡한 인프라를 필요.
• 실제 무선 네트워크에 배포하는 것은 제한된 대역폭, 낮은 지연 시간 요구 사항, 실시간 처리의 필요성과 같은 조건들을 감수.
• 특히, 엣지 컴퓨팅 시나리오에서 구현을 방해.

2. Overview of Traditional Neural Networks

2.1 Feed Forward Neural Networks

• 한 방향으로만 이동하는 가장 단순한 유형의 인공 신경망 아키텍처.
• 간단한 패턴 인식 작업에는 적합하지만, 은닉 상태(Hidden States)가 없어 메모리나 시간적 종속성을 요구하는 작업은 어려움.

2.2 Convolutional Neural Networks

• 정형화된 그리드 데이터를 처리하는데 특화.
• 입력 데이터에 필터를 적용해 특징의 공간적 계층을 포착하는 컨볼루션 레이어를 활용.
• 이미지 데이터의 이동, 크기 변환, 왜곡과 같은 변형을 처리하는데 있어 견고성이 뛰어남.

Fig. 2. Liquid neuron and the ODE modelling.

2.3 Recurrent Neural Networks

• 순차적 데이터를 처리하고 시간적 종속성을 포착하도록 설계.
• FNN과 달리 방향성 있는 순환을 형성하는 가지고 있음.
• 긴 시퀀스에서 기울기 소실 및 폭주 문제를 해결하기 위해 LSTM과 GRU 같은 변형 모델 개발.
• LSTM은 장기 의존성 관리를 위해 'Gating Mechanisms' 를 도입했고, GRU는 아키텍처를 단순화.
• 이러한 개선에도 '연속 시간 동역학' 을 모델링 할 수 없음.

2.4 Ordinary Differential Equation Neural Networks

• 상미분 방정식 신경망은 연속 시간 동역학을 모델링하도록 설계.
• CT-RNN과 ODE-LSTM 네트워크가 주요 예시.
• 상미분 방정식을 사용하여 연속 시간 시퀀스를 포착해 불규칙한 시간 간격 처리에 적합하지만 수치해석 솔버(Numerical Solvers)가 필요해 계산 비용 증가.
• 증가된 계산 복잡성과 잠재적인 훈련 불안정성의 문제는 매우 동적인 환경에서의 효과를 제한.

3. Design of LNNs

Fig. 3. The structure of a CfC neuron and a 4-layer NCP.

• LNN은 '제 1원리(First Principles)' 에 기반해 독특하게 설계 되었으며, 다른 모델들과 근본적으로 다름.
• 제 1원리는 자연의 근본적인 법칙으로부터 직접 속성과 행동을 도출하는 것을 포함.
• 선충(nematode)인 Caenorhabditis elegans의 시냅스에서 관찰되는 정보잔달 메커니즘을 모방.
• 자연 신경망의 유연성과 회복탄력성(Resilence) 을 모방.
• 동적이고 예측 불가능한 환경에서도 높은 성능과 견고성을 유지해 끊임없이 변화하는 실제 애플리케이션에 특히 적합.
• 현재 리퀴드 뉴럴 네트워크에는 다음과 같은 세가지 유형.

1) LTC (Liquid Time-Constant neural networks)

• [그림 2]는 LTC의 기본 구성 요소 역할을 하는 '리퀴드 뉴런' 의 기본 정보 흐름을 보여줌.
• '시냅스 전 뉴런(presynaptic neuron)' 은 '시냅스 전 자극(presynaptic stimuli)' 을 사용해, 두 뉴런 사이의 시냅스를 통해 '시냅스 후 뉴런(postsynaptic neuron)' 으로 정보를 전달.
• '시냅스 후막(postsynaptic membrane)' 의 전위(potential)는 동적 변수로서의 역할을 하고, 해당 신경망의 은닉 상태를 나타냄.
• 이 전체 과정은 상미분 방정식(ODE) 로 설명 되고, 이는 뉴런 간의 동적이고 비선형적인 상호 작용을 포착.
• 단 19개의 리퀴드 뉴런으로 복잡한 자율 시스템(특히 차량 자율 주행) 에서 고충실도 자율성(High-Fidelity Autonomy) 를 달성.
• 이 역량은 V2X(Vehicle-to-Everything) 통신을 향상 시키는데 확장 될 수 있음.

2) CfC (Closed-form Continuous-time neural networks)

• LTC는 변화하는 환경에 적응 가능하지만 '폐쇄형 해(Closed-Form Solution)' 가 없어 순전파 및 역전파를 위해 계산 비용이 많이 드는 반복적 솔버(Iterative Solvers)를 필요로 함.
• 이 문제를 해결하기 위해, [그림2] 와 같이 ODE의 실제 해에 근사하는 폐쇄형 해가 제안.
• '폐쇄형 표현(Closed-form Expression)' 은 기존 ODE 솔버의 높은 오버헤드를 피하고, 몇 개의 파라미터만으로 해에 근사.
• 기존 딥러닝 도구와 이론 활용을 위해 [그림 3] 과 같이 특별히 설계된 신경망 구조로 표현.

3) NCP (Neural Circuit Policies)

• LTC와 CFC의 잠재력을 더욱 활용하기 위해, NCP는 여러 개의 CFC 또는 LTC 뉴런을 여러 레이어로 결합하도록 설계.
• 감각 뉴런 계층(sensory neuron layer), 중간 뉴런 계층(inter neurons layer), 명령 뉴런 계층(command neurons layer), 운동 뉴런 계층(motor neurons layer) 의 네 가지 고유한 계층을 특징으로 함.
• 이러한 계층은 생물학적 신경망에서 관찰되는 '희소 연결 (sparse connectivity)' 을 모방해 계층 내부 및 계층 간에 희소한(Sparse) 연결을 특징으로해 계산 복잡성을 줄이고 정보 교환 및 융합을 가속화.
• NCP는 '분포 외 데이터(Out of Distribution Data)' 가 주어졌을 때도 견고한 비행 항법 능력.

4. Features and Benefits of LNNs

• LNN은 이러한 특성으로 현대 무선 통신 시스템의 동적이고 복잡한 특성에 매우 적합.

1) 뛰어난 일반화 성능과 견고성

• 생물학적 신경계를 모방해 동적이고 적응적인 특성으로 다양한 조건과 환경에 걸쳐 일반화.
• 적응성과 회복 탄력성(Resilence) 는 사용자 요구가 급격히 변하는 무선 통신 분야에서 특히 가치가 높음.
• 예를 들어, '동적 주파수 접속(Dynamic Spectrum access' 및 '적응형 빔포밍(Adaptive Beamforming)' 에서 최적의 통신 성능 보장.
• 교란과 긴급 대응 시나리오에 매우 중요.

2) 향상된 표현력

• LNN은 입력 데이터에 동적으로 적응하고 복잡한 시간적 패턴을 포착하는 능력 덕분에 기존 신경망보다 향상된 표현력을 보여줌.
• 다양한 입력 패턴에 노출 되었을 때 복잡한 '잠재 공간 궤적(Latent Space Trajectories)'를 생성하는 능력.
• 한 마디로 미묘한 시간적 표현을 위한 더 높은 수용 능력을 나타냄.
• 생물학적 신경계에서 영감을 받은 지속적인 적응 메커니즘은 뛰어난 표현력을 뒷 받침.

3) 향상된 해석 가능성

• LNN의 해석 가능성은 복잡한 신경 동역학을 이해 가능하고 명확하게 구분되는 행동으로 분리(Disentangle) 하는 능력에서 비롯됨.
• 신경 정책 분석을 위해 '결정 트리' 같은 기술을 활용해, 의사결정 과정에 대해 명확하고 논리적인 설명 제공.
• 안전 필수 시스템에서을 동작을 이해 및 디버깅, 문제 해결, 신뢰할 수 있는 네트워크 성능 보장에 필수.

4) 더 낮은 복잡성

• NCP 계층 내부 및 계층 간 '희소 연결성(Sparse Connectivity)' 은 계산 오버헤드를 줄임.
• '폐쇄형 해' 는 상미분 방정식을 풀 때 복잡한 반복적 솔버의 필요성을 제거해 계산 복잡성을 낮춤.
• 강력한 표현력으로 더 적은 수의 뉴런으로 복잡한 작업을 수행.
• 네트워크 인프라에 부하를 주지 않고 엣지 디바이스 및 IoT 센서 환경에도 배포하기 적합.

5) 연속 시간 모델링

• 이산적인 시간 단계로 작동하는 기존 신경망과 달리, LNN은 상미분 방정식을 활용해 뉴런 간의 동적 상호작용을 모델링.
• 통신 분야에서 '채널 추정(Channel Estimation)', '간섭관리', '적응형 변조(Adaptive Modulation)' 기법을 가능하게 함.

5. LNNs for Wireless

• LNN이 미래 무선 네트워크의 진화와 향상에 가져올 수 있는 두 가지 주요 주제를 소개.

1) 통합 감지 및 통신 (ISAC)

• 'ISAC(Integrated Sensing and Communication)' 은 통신과 감지 기능을 단일 프레임워크로 통합하여 '주파수 효율성(SE)' 을 향상시키고 하드웨어 비용을 절감하는, 무선 네트워크 설계의 패러다임 전환을 나타냄.
• LNN은 통신과 감지 기능 간의 자원 할당을 최적화하는 데 이상적.
• 낮은 계산 복잡성과 짧은 처리 시간 감소는 에너지 소비 감소 즉, 친환경 네트워크에 필수.

2) 자가 조직 네트워크 (SON)

• 'SON(Self-Organizing Networks)' 은 변화하는 환경 조건, 네트워크 요구, 사용자 행동에 대응하여 자율적으로 적응하고 진화하는 능력을 특징으로 하는 무선 네트워크의 일종.

6. Challenges and Future Research Directions

1) 제로샷 러닝

• LNN 이 분포 외 데이터를 처리하는 일정 수준의 능력을 보여주었지만, 이 능력 뒤에 숨겨진 원리에 대한 더 깊은 이해 필요.
• 데이터 증강 전력과 결합해 성능을 향상 시켜, 엄격한 평가 프레임워크를 확립해 ZSL 역량 측정 필요.

2) 분산형 LNN

• 다양한 노드와 장치에 분산해 효과적인 조정(Coordination) 및 동기화에 대한 과제를 제기.
• 결함 허용 및 동적 자원 관리 전략을 구현하는 특화된 학습 알고리즘 개발 중요.
• 연합 학습을 통해 데이터 프라이버시를 향상 시킬 수 있는 솔루션 제공 필요.

3) 다중 모달리티 융합

• 다중 모달 데이터의 통합이 과도한 복잡성 추가로 이어지지 않고, 데이터 간의 동기화 및 융합 문제를 해결 해야함.

4) 훈련 및 추론 지연 시간

• 현재 충분히 탐구되지 않은 것은 종단 간 훈련 지연 시간에 대한 포괄적인 평가.

7. Case Studies

8. Conclusion

• LNN 은 '제 1원리' 로 부터 설계된 새로운 개념.
• 뛰어난 일반화 성능, 해석 가능성, 더 늦은 복잡성, 연속 시간 모델링 역량 그리고 동적 환경에서의 견고한 성능.
• 위 특성을 활용해 무선 네트워크의 확장성, 결함 허용, 자원 활용 효율성을 향상.
• 잠재력을 실현하기 위해서는 ZSL 역량 개선, 분산형 LNN 프레임워크 개발, 다중 모달리티 데이터 통합, 계층 간 상호작용 최적화.

* 감상

 LNN이라는 논문을 리뷰한 이유는 아래 게시글에서 밝혔다. 사실 이번 논문은 진짜 어려운 논문이라기보다는 LNN에 대한 홍보 논문 같아서 편하게 읽혔다.

https://meerkat-developer.tistory.com/41

AI 트렌드 놓치지 않기

 읽어본 감상은 오랜만에(정말 오랜만에) 새로운 아키텍처에 대한 논문을 읽어 너무나 재미 있었다. 그리고 놀랍고도 흥분 됐다. 사실 이대로만 나와준다면 모든 AI 문제점은 다 해결 되는 것이 아닐까? 우리가 그토록 개발하면서 고민 했던 문제들(그 중 자원이 특히.) 이 전부 해결 될 것만 같은 논문이다.

 다만, 우려스러운 점은 LNN이 통신 환경을 타겟으로 만들었다는 것이다. 단순히 시그널을 주고 받는데 특화가 되어 있다면 나중에 텍스트나 이미지가 들어가면 결국 동일한 문제가 반복되지 않을까? 물론 나보다 더 똑똑한 사람들이 해결해 줄 것이다. 생체 신호를 모방한 아키텍처이고, 생체 신호는 곧 인지 아니겠는가? 생체가 뉴런에서 주고 받는 신호들이 결국 인지로 가는 거니까 이런거를 또 만들어줄 사람이 있지 않을까 생각해본다.

 사실 3챕터는 이해하기가 힘들었다. 트랜스포머는 복잡하고 어렵긴 하지만 이해는 됐다. 하지만 LNN은 그런 수식 보다는 생명공학적인 이해가 기저에 있어야 할 것 같다. 하지만 항상 그랬듯 수식을 이해하기 보다는 배경 연구와 영감들을 논문에서 찾는 것이 더 중요하다. 이번 논문을 통해서도 ODENN 을 알게 되었고, 현 AI 모델들이 가진 문제점에 대한 통찰을 갖게 되었다.

 다음엔 무엇을 읽어 볼까?