랜덤 심볼에 기반한 정보이론적 학습법의 스텝 사이즈 정규화

• Published in: Inteonet jeongbo hakoe nonmunji = Journal of Korean Society for Internet Information 2020, 21(2), , pp.49-55
• Main Authors: 김남용, Namyong Kim
• Format: Article
• Language: Korean
• Subjects: Distribution distance; Impulsive noise; information potential; random symbol; step-size; 랜덤심볼; 분포거리; 스텝사이즈; 입력 전력 정규화; 정보포텐셜; 충격성 잡음; 컴퓨터학
• ISSN: 1598-0170; 2287-1136
• DOI: 10.7472/jksii.2020.21.2.49

랜덤 심볼열을 기반으로 한 정보이론적 학습법 (ITL)은 특정 확률분포를 갖도록 랜덤하게 발생시킨 심볼열을 타겟 데이터로 활용하고, 입력 데이터 사이의 확률분포 거리 최소화를 비용함수로 하여 설계된다. 이 방식의 단점으로, 고정상수를 알고리듬 갱신의 스텝사이즈로 사용하므로 입력 전력의 통계적 추이를 활용할 수 없다. 정보포텐셜 출력(information potential output, IPO)와 연관된 기울기에서는 정보포텐셜 입력(information potential input, IPI)이, 정보포텐셜 오차(information potential error, IPE)와 관련된 기울기에서는 입력자체가 입력으로 작용함을 이 연구에서 밝혀내고, 입력의 전력 추이를 따로 계산하여 스텝사이즈 (step size)를 정규화하도록 제안하였다. 제안된 알고리듬은 충격성잡음과 다중경로 페이딩 환경의 통신시스템 실험에서 기존 방식보다 약 4dB 정도 더 낮은 정상 상태 오차 전력, 약 2배 이상 빠른 수렴속도를 나타냈다. Information theoretic learning (ITL) methods based on random symbols (RS) use a set of random symbols generated according to a target distribution and are designed nonparametrically to minimize the cost function of the Euclidian distance between the target distribution and the input distribution. One drawback of the learning method is that it can not utilize the input power statistics by employing a constant stepsize for updating the algorithm. In this paper, it is revealed that firstly, information potential input (IPI) plays a role of input in the cost function-derivative related with information potential output (IPO) and secondly, input itself does in the derivative related with information potential error (IPE). Based on these observations, it is proposed to normalize the step-size with the statistically varying power of the two different inputs, IPI and input itself. The proposed algorithm in an communication environment of impulsive noise and multipath fading shows that the performance of mean squared error (MSE) is lower by 4dB, and convergence speed is 2 times faster than the conventional methods without step-size normalization.