Federated Learning

GPT

Federated Learning은 분산된 디바이스(device)들의 데이터를 모으고, 이를 중앙 서버에 보내어 모델을 학습하는 방식입니다. 즉, 중앙 서버가 전체 모델을 관리하고, 디바이스는 중앙 서버에서 받은 모델을 이용하여 자신의 데이터를 학습한 뒤, 업데이트된 모델을 중앙 서버에 보내는 방식입니다.

이러한 방식은 개인정보 보호를 보장하면서 분산된 데이터를 이용하여 모델을 학습할 수 있는 장점이 있습니다. Federated Learning은 주로 모바일 디바이스에서 사용되며, 예를 들어 스마트폰에서 실행되는 음성 인식 모델 등에서 적용됩니다.

반면, 분산학습은 여러 대의 컴퓨터를 이용하여 모델을 학습하는 방식으로, 모든 컴퓨터가 데이터를 보유하고 있는 경우에 적용됩니다. 각각의 컴퓨터가 모델을 학습하고, 결과를 서로 공유하여 모델을 업데이트하는 방식입니다. 분산학습은 대규모 데이터셋에서 높은 성능을 발휘하는 장점이 있습니다. 분산학습은 대규모 데이터셋에서 사용되며, 예를 들어 이미지 인식, 자연어 처리 등에서 적용됩니다.

따라서, Federated Learning은 분산된 디바이스의 데이터를 이용하여 모델을 학습하는 방식이며, 분산학습은 여러 대의 컴퓨터를 이용하여 대규모 데이터셋에서 모델을 학습하는 방식입니다.

Federated Learning

연합학습은, 기존의 머신러닝 기법들과는 달리 '데이터의 익명성이 보장된다.' 라는 강점을 갖고 있습니다. 기존의 머신러닝에서는 모바일 디바이스 또는 센서 등의 장치에서 얻은 정보를 하나의 중앙 서버로 취합하여 학습이 진행됩니다.

하지만 연합학습에서는 각각의 장치가 갖고 있는 데이터를 중앙 서버로 보내지 않고, 각각의 장치에서 학습이 진행됩니다. 학습을 통해 도출된 '가중치들만' 중앙 서버로 전송이 되어, 중앙 서버는 이 가중치들을 하나의 가중치로 취합하는 최종 역할을 담당합니다.

중앙서버로 '가중치들만' 중앙 서버로 전송이 됨으로써, 각각의 장치가 갖고 있는 로컬 데이터가 학습을 위해 중앙 서버로 전송되지 않아도 되는 것입니다.

위 방식으로 중앙 서버에서 취합된 가중치를 그 다음 라운드에서 각각의 장치들에게 내려줌으로써, 다음 라운드에서 각각의 장치들이 이 가중치를 사용하여 각각의 데이터에 대한 학습이 이루어집니다. 이러한 연속적이고 반복적인 방식을 우리는 '연합학습' 이라고 칭합니다.