INTERNAL: Change tot_elem_cnt to subtree element count in set

[jeesup0103]

🔗 Related Issue

• https://github.com/jam2in/arcus-works/issues/571

⌨️ What I did

• Set에서 tot_elem_cnt를 해당 노드의 subtree에 포함된 모든 element의 총 개수로 변경
  • 기존에는 현재 노드의 element 개수만 의미했으나, subtree 전체를 포함하도록 수정하였습니다.

세부 구현 내용

• tot_elem_cnt 크기 확장

  • 기존 uint16_t 에서 uint32_t로 변경
  • Set의 최대 element 개수(1,000,000개)를 표현하기 위해서입니다.

• tot_elem_cnt 변수 관리

  • Element Insert (do_set_elem_link())

    • Parent 노드들과 현재 노드의 tot_elem_cnt를 1 증가

  • Element Delete (do_set_elem_traverse_dfs(), do_set_elem_traverse_delete())

    • DFS 탐색하면서 tot_elem_cnt를 1 감소

  • Chain -> Hash table 변경 (do_set_node_link())

    • Parent 노드의 tot_elem_cnt 유지
    • Child 노드의 tot_elem_cnt = 기존 Chain element 개수 (num_found)

  • Hash table -> Chain (do_set_node_unlink())

    • Parent 노드의 tot_elem_cnt 유지
    • Child 노드의 tot_elem_cnt = 0

추후 PR 내용

• offset 내부 구현 PR
• random 구현 PR (parsing, 내부)

[jhpark816]

@jeesup0103
하위 node를 가지는 경우에 hcnt[i] = -1 설정을 그대로 유지하고 있네요.

각 hash bucket에 있는 element 개수는 hcnt[i] 값을 확인할 수 있고,
-1이라면 child node 접근하여 tot_elem_cnt 확인한다는 것이죠.

hcnt[i]에서 하위 node에 있는 element 개수를 유지하는 방안도 생각해 볼 수 있는 데,
이 방식을 택하지 않은 이유는 무엇인가요?

[jeesup0103]

@jhpark816
hcnt[hidx] 값을 변경하지 않은 이유는 해당 버킷의 상태를 바로 확인할 수 있도록 유지하기 위해서입니다.
DFS 탐색 과정에서 hcnt[hidx]를 통해 해당 버킷이 추가 노드인지 또는 element chain인지 빠르게 판단할 수 있습니다.

그리고, hcnt[hidx] 값도 하위 노드의 element 개수로 변경한다면, 이는 tot_elem_cnt와 중복 정보를 저장하는 형태가 됩니다.
결국, node->hcnt[hidx]와 node->htab[hidx]->tot_elem_cnt는 같은 값을 가지게 되기 때문에 tot_elem_cnt만 변경하는 것이 더 효율적이라고 생각했습니다.

[jhpark816]

@namsic 추가 리뷰 진행해 주세요.

[namsic]

do_set_node_link(), do_set_node_unlink(), do_set_elem_link() 3개 함수는 수정하는데,
do_set_elem_unlink()는 기존 구현을 그대로 사용하고 있습니다.

1. do_set_elem_traverse_XXX()에서 처리하기 때문인가요?
2. 기존 구현에서는 XXX_link()와 XXX_unlink()에서 tot_elem_cnt 값을 변경하고,
   traverse 함수에서는 비교 연산만 수행했습니다.
   기존처럼 반대 이름을 갖는 함수의 동작이 서로 짝을 이루도록 구현하기는 어려운가요?

[jeesup0103]

1. 네. 해당 노드의 부모 노드들의 tot_elem_cnt 값은 do_set_elem_traverse_XXX()에서 처리 됩니다.
2. 어렵지 않을 것 같습니다.
   do_set_elem_unlink() 에서 do_set_elem_link()와 같이 해시값을 기준으로 while문을 반복해서 부모 노드들의 tot_elem_cnt 값을 업데이트 할 수 있습니다.
   그러면 하나의 element를 삭제 할때마다 부모 노드들을 업데이트 해야하는 비용은 발생합니다. (현재 PR에서는 노드당 한번 업데이트)

    while (node != NULL) {
        node->tot_elem_cnt -= 1;
        hidx = SET_GET_HASHIDX(elem->hval, node->hdepth);
        if (node->hcnt[hidx] >= 0)
            break;
        node = node->htab[hidx];
    }

[jhpark816]

리뷰 완료

[jhpark816]

unit32_t tot_elem_cnt 는 child node에 있는 elements 수를 포함하는 것으로 변경한다면,
uint16_t tot_hash_cnt 는 제거하는 것이 나을 것 같습니다. 검토 후 조치 바랍니다.

tot_hash_cnt가 이용되는 2가지 경우가 있습니다.

첫째, 아래 경우에서 tot_elem_cnt == 0이면 tot_hash_cnt == 0임을 알 수 있으므로
tot_hash_cnt == 0 조건을 제거해도 됩니다.

            if (info->root->tot_hash_cnt == 0 && info->root->tot_elem_cnt == 0) {
                do_set_node_unlink(info, NULL, 0);
            }

둘쨰, 아래 경우에서 tot_hash_cnt 필드를 제거하는 대신에
필요하면 get_child_node_count(node) 함수를 두어 계산하게 처리할 수 있습니다.

            if (child_node->tot_hash_cnt == 0 &&
                child_node->tot_elem_cnt < (SET_MAX_HASHCHAIN_SIZE/2)) {
                do_set_node_unlink(info, node, hidx);
            }

=> 

            if (child_node->tot_elem_cnt < (SET_MAX_HASHCHAIN_SIZE/2)
                && get_child_node_count(node) == 0) {
                do_set_node_unlink(info, node, hidx);
            }

그리고 tot_elem_cnt 필드는 그 의미가 변경된 상태이므로,
필드명을 다르게 변경할 필요가 있나요?

[jhpark816]

아래 형태로 변경하시죠.
tot_elem_cnt 변경 스타일을 동일하게 맞추고자 합니다.

tot_elem_cnt -= 1;

[jhpark816]

delete 하는 경우와 유사하게
do_set_elem_traverse_insert() 같은 함수로 재귀적으로 child node를 찾아가서
link하는 구현을 생각해 볼 수 있을 것입니다.
이렇게 구현할 필요는 없겠죠?