ln 썸네일형 리스트형 Batch Normalization, Layer Normalization 딥러닝 모델이 깊어질수록 학습이 불안정해지는 문제가 발생합니다. 각 층을 통과하면서 활성화 값의 분포가 계속 바뀌기 때문인데, 이를 내부 공변량 변화(Internal Covariate Shift)라고 합니다. 배치 정규화(BN)와 계층 정규화(LN)는 각 층의 입력을 일정한 분포로 '정규화'하여 이 문제를 해결하고, 학습을 안정적이고 빠르게 만드는 핵심적인 기법입니다.공통 표기법 정의$x$: 정규화 계층에 들어오는 입력(pre-activation). 텐서(Tensor) 형태입니다.$m$: 미니배치(minibatch)의 크기. 즉, 한 번의 경사 하강 단계에서 사용되는 데이터 샘플의 수입니다.$d$: 특징(feature) 차원의 크기. 예를 들어, 자연어 처리 모델(Transformer)에서는 임베딩 벡터.. 더보기 이전 1 다음