데이터 직렬화 방식

1. 직렬화와 역직렬화의 정의¶

분산 시스템에서 노드 간에 복잡한 데이터 객체를 주고받기 위해서는 네트워크를 통해 전송 가능한 형태로 변환하는 과정이 필요합니다.

직렬화 (Serialization): 데이터 구조나 객체를 네트워크 전송 또는 저장 가능한 형식(예: 바이트 스트림, 텍스트)으로 변환하는 과정.
역직렬화 (Deserialization): 직렬화된 데이터를 다시 원래의 데이터 구조나 객체로 재구성하는 과정.
흐름: 송신자는 데이터를 직렬화하여 전송하고, 수신자는 이를 수신하여 역직렬화한 뒤 처리합니다.

업계에서 널리 사용되는 세 가지 방식의 특징과 장단점은 다음과 같습니다.

텍스트 기반의 가장 대중적인 포맷으로, 단순한 텍스트 형태로 복잡한 객체를 표현합니다.

장점:
- 가독성 및 디버깅: 사람이 읽기 쉬운 텍스트 형식이라 별도 도구 없이도 수정 및 확인이 가능합니다.
- 언어 독립성: 특정 언어에 종속되지 않아 Java, C++, Python 등 서로 다른 언어를 사용하는 노드 간 통신이 쉽습니다.
- 웹 통합 용이: 자바스크립트 객체와 구조가 거의 동일하여 프론트엔드(브라우저)와 데이터를 주고받기에 최적입니다.
단점:
- 규칙(Schema)의 부재: 데이터 타입에 대한 엄격한 규정이 없어 노드 간 타입 불일치(예: 정수 vs 실수)로 인한 런타임 오류가 발생할 수 있습니다.
- 오버헤드: 일반 텍스트 방식이라 바이너리 포맷에 비해 데이터 크기가 크고 전송 효율이 떨어집니다.
- 외부 라이브러리 필요: Java 객체와 매핑하기 위해 별도의 라이브러리와 설정(애노테이션 등)이 필요합니다.

JVM(Java Virtual Machine) 환경에서 Serializable 인터페이스를 사용하여 객체를 바이트 스트림으로 직접 변환하는 방식입니다.

특징:
- 마커 인터페이스: 메서드가 없는 Serializable 인터페이스를 구현하기만 하면 직렬화 대상이 됩니다.
- 제외 대상: static 멤버와 transient 키워드가 붙은 변수는 직렬화에서 제외됩니다.
- 조건: 모든 중첩 객체도 Serializable해야 하며, 기본 생성자가 접근 가능해야 합니다.
장점:
- 타입 안전성: 객체의 상태와 타입 정보가 정확히 유지되므로 모호함이 없습니다.
- 엄격한 스키마: 클래스 정의 자체가 스키마 역할을 하여 송수신자 간 데이터 일관성을 보장합니다.
- 편의성: 외부 라이브러리 없이 JVM 언어 내에서 즉시 사용 가능하여 프로토타이핑이 빠릅니다.
단점:
- 플랫폼 종속성: JVM 기반 언어끼리만 통신이 가능하며 C++, Go 등 타 언어와는 호환되지 않습니다.
- 가독성 저하: 바이너리 형태이므로 텍스트 편집기로 내용을 확인하거나 수정할 수 없습니다.

구글에서 개발한 언어 및 플랫폼 중립적인 직렬화 방식입니다.

작업 흐름:
1. .proto 파일에 데이터 구조(메시지 스키마)를 정의합니다.
2. 프로토 컴파일러(protoc)를 통해 각 언어에 맞는 스텁(Stub) 코드를 생성합니다.
3. 생성된 클래스의 메서드(Getter/Setter/Builder)를 사용하여 데이터를 처리합니다.
장점:
- 언어 독립성: 하나의 .proto 파일로 여러 언어의 코드를 생성할 수 있어 이 기종 시스템 간 통신에 유리합니다.
- 성능 및 효율성: 데이터를 바이너리로 암호화/압축하여 전송하므로 크기가 매우 작고 속도가 빠릅니다.
- 보안성: 필드 이름 대신 숫자 태그(Tag)를 사용하여 데이터를 식별하므로, 스키마 파일이 없으면 내용을 해석하기 어렵습니다.
단점:
- 개발 복잡도: 스키마 정의 및 컴파일 과정이 추가되어 초기 설정이 번거롭습니다.
- 디버깅 어려움: 바이너리 포맷 특성상 사람이 내용을 바로 파악하기 어렵습니다.

상황에 따라 적절한 직렬화 방식을 선택하는 것이 중요합니다.