JSON STREAMING API

크지 않은 json 데이터를 파싱할 때는 한번에 파싱해도 메모리 사용량이 많지 않지만,

파싱해야할 json 데이터가 굉장히 크다면 메모리 사용량이 많기 때문에 주의가 필요한 부분입니다.

참고삼아 제 로컬 PC에서 jackson 라이브러리로 json 파일을 객체로 파싱하는 로직을 실행해서 visualvm으로 확인해본 결과는 다음과 같았습니다.

- 약 300 KB 파일을 한번에 객체로 파싱 : 약 60 MB 힙메모리 사용

- 약 50 MB 파일을 한번에 객체로 파싱 : 약 150 MB 힙메모리 사용

- 약 150 MB 파일을 한번에 객체로 파싱 : 약 750 MB 힙메모리 사용

jackson 사용 예제

streaming api는 json 데이터를 다음과 같은 토큰 단위로 읽어서 처리합니다.

- 객체의 시작( { ), 끝( } )

- 배열의 시작( [ ), 끝( ] )

- 필드명

- 필드값

토큰을 순회하며 원하는 데이터가 나왔을 때 처리를 하는 방식으로 구현하면 됩니다. (이터레이터 처리 방법과 유사)

예를 들어서 설명하면,

<sample.json>

1. {  
2.   "contentsId": "123456",  
3.   "title": "꽹과리",  
4.   "metadata": [  
5.     {  
6.       "propertyName": "category",  
7.       "propertyContent": "타악기"  
8.     },  
9.     {  
10.       "propertyName": "category",  
11.       "propertyContent": "동양악기"  
12.     }  
13.   ]  
14. }  

위 데이터를 객체로 파싱하는 코드는 다음과 같이 작성할 수 있습니다.

1. import com.fasterxml.jackson.core.JsonFactory;  
2. import com.fasterxml.jackson.core.JsonParser;  
3. import com.fasterxml.jackson.core.JsonToken;  
4. import com.fasterxml.jackson.databind.MappingJsonFactory;  
5.   
6. public class JacksonStream {  
7.   
8.     public static void main(String[] args) throws IOException {  
9.         JsonFactory jsonFactory = new MappingJsonFactory();  
10.         JsonParser jsonParser = jsonFactory.createParser(new File("sample.json")); // json 파서 생성  
11.   
12.         AudioContent audioContent = new AudioContent(); // 맵핑할 객체  
13.   
14.         while (jsonParser.nextToken() != JsonToken.END_OBJECT) { // END_OBJECT(}) 가 나올 때까지 토큰 순회  
15.             String fieldName = jsonParser.getCurrentName(); // 필드명, 필드값 토큰인 경우 필드명, 나머지 토큰은 null 리턴  
16.   
17.             if ("contentsId".equals(fieldName)) {  
18.                 jsonParser.nextToken(); // 필드값 토큰으로 이동  
19.                 audioContent.setContentsId(jsonParser.getText());  
20.             } else if ("title".equals(fieldName)) {  
21.                 jsonParser.nextToken();  
22.                 audioContent.setTitle(jsonParser.getText());  
23.             } else if ("metadata".equals(fieldName)) {  
24.                 // metadata array 요소들 파싱  
25.                 while (jsonParser.nextToken() != JsonToken.END_ARRAY) { // END_ARRAY(]) 가 나올 때까지 토큰 순회  
26.                     Metadata metadata = parseMetadata(jsonParser);  
27.                     audioContent.getMetadata().add(metadata);  
28.                 }  
29.             }  
30.         }  
31.   
32.         jsonParser.close();  
33.         System.out.println(audioContent);  
34.     }  
35.   
36.     private static Metadata parseMetadata(JsonParser jsonParser) throws IOException {  
37.         Metadata metadata = new Metadata();  
38.   
39.         while (jsonParser.nextToken() != JsonToken.END_OBJECT) { // END_OBJECT(}) 가 나올 때까지 토큰 순회  
40.             String fieldName = jsonParser.getCurrentName();  
41.   
42.             if ("propertyName".equals(fieldName)) {  
43.                 jsonParser.nextToken();  
44.                 metadata.setPropertyName(jsonParser.getText());  
45.             } else if ("propertyContent".equals(fieldName)) {  
46.                 jsonParser.nextToken();  
47.                 metadata.setPropertyContent(jsonParser.getText());  
48.             }  
49.         }  
50.         return metadata;  
51.     }  
52. }  

토큰 단위로만 데이터를 읽을 수 있는 것은 아니고 한번에 읽을 수도 있습니다.

metadata 파싱하는 부분을 한번에 처리하는 방식으로 다음과 같이 변경할 수 있습니다.

1. private static Metadata parseMetadata(JsonParser jsonParser) throws IOException {  
2.     jsonParser.nextToken();  
3.     return jsonParser.readValueAs(Metadata.class);  
4. }  

하지만 한번에 파싱하는 데이터 범위를 적절히 설정하지 않으면 이 역시 메모리를 많이 사용할 수 있으니

주의가 필요할 것 같습니다.

예를 들어, 위처럼 metadata 배열 중 하나의 항목이 아니라, 전체 metadata 배열을 한번에 파싱하게 했는데

배열에 항목 수가 굉장히 많다던가 하는 경우입니다.

그리고 파싱하는 것뿐만 아니라 객체로 json 데이터를 생성하는 것도 stream api로 처리가 가능합니다.