CASE-A · WHY JURY

왜 한 사람이 아닌 12인인가

대부분의 디렉토리는 한 사람의 판단으로 사이트를 등재합니다. 효율적이지만 위험합니다 — 한 사람의 편견이 그대로 결과에 반영되며, 그 편견을 사용자는 알 수 없습니다.

한 사람의 한계

한 큐레이터가 아무리 뛰어나도 모든 분야에 정통할 수 없습니다. 자신이 잘 모르는 분야의 사이트는 평가가 부정확해지며, 컨디션이나 그날의 기분이 판단에 영향을 줄 수도 있습니다. 큐레이터의 주관이 객관을 가린다는 구조적 문제입니다.

12인의 지혜

본지는 다릅니다. 12명의 배심원이 한 사이트를 함께 검토하며, 9명 이상이 동의해야 등재됩니다. 한 명의 편견은 다른 11명에 의해 자연스럽게 상쇄되고, 한 분야에 약한 배심원의 판단은 그 분야에 강한 배심원이 보완합니다. 12인의 평균 지능은 한 사람의 천재성보다 더 정확한 결과를 냅니다.

합의 임계값 9/12의 의미

본지는 만장일치(12/12)를 요구하지 않습니다. 너무 엄격하면 등재 사이트가 거의 없어지므로, 75% 합의(9/12)를 임계값으로 설정했습니다. 이는 “확실히 가치 있다”고 절대다수가 판단한 사이트만 통과시키는 균형점이며, 본지가 4년의 운영 데이터로 검증한 최적값입니다. 본지의 다른 페이지인 빅데이터 트래픽 분석으로 검증된 주소모음사이트나 디렉토리 검증 연구의 주소랩도 같은 다중 검증 정신을 공유합니다.

CASE-B · THE JURY

배심원 12인의 구성

본지의 배심원단은 어떻게 구성되어 있을까요? 다양한 배경의 12명이 모여야 진짜 집단지성이 작동합니다. 본지는 분야·연령·사용 패턴별로 균형 잡힌 배심원단을 운영합니다.

분야별 균형

배심원단은 12개의 다른 시각으로 구성됩니다. UX·콘텐츠·데이터·엔지니어링·교육·엔터테인먼트·쇼핑·접근성·보안 같은 분야 전문가가 골고루 포함되어, 한 분야에 강한 사이트라도 다른 분야의 약점을 가진다면 자연스럽게 발견됩니다.

연령별 균형

20대·30대·중년·시니어가 모두 포함되어, 한 연령층에만 유리한 사이트가 부당한 점수를 받지 않도록 합니다. 같은 사이트를 청년은 좋아하고 시니어는 싫어할 수 있으며, 본지는 두 시각을 모두 평결에 반영합니다. 위 사례에서 J-06(엔터)과 J-10(중년)이 반대표를 던졌지만, 다른 10인이 동의해 9인 임계값을 넘어 등재가 승인된 사례입니다.

CASE-C · PROCEDURE

4단계 합의 절차

한 사이트가 등재 신청을 받으면 4단계 합의 절차를 거칩니다. 모든 단계를 통과해야 본지의 인덱스에 추가되며, 절차의 투명성이 본지 신뢰성의 기반입니다.

PHASE 02 독립 검토의 의미

가장 긴 시간(14일)이 배정된 이 단계에서 12인 배심원이 서로의 의견을 알지 못한 채 사이트를 독립적으로 검토합니다. 다른 사람의 평가에 영향받지 않은 첫 직관을 기록하기 위함이며, 이 “독립성”이 집단지성의 핵심 메커니즘입니다.

PHASE 03 토의에서 변경되는 평가

독립 검토 후 12인이 모여 의견을 공유합니다. 이 단계에서 약 18%의 평가가 변경되며, 이는 다른 배심원의 통찰로 자신의 첫 인상이 보완되기 때문입니다. 혼자 보던 것을 함께 봐서 더 잘 보이는 효과이며, 토의 후의 평결이 토의 전보다 더 정확합니다. 친구가 골라주는 인기 사이트인 주소요도 비슷한 다중 시각 보완 정신을 공유합니다.

PHASE 04 평결의 권한

9/12 합의에 도달하면 즉시 등재되고, 미달하면 즉시 기각됩니다. 한번 평결된 사이트는 분기마다 재심사를 거치며, 사이트가 변경되거나 새로운 정보가 나타나면 평결도 갱신됩니다. 한 번의 평결이 영원하지 않다는 점이 본지 시스템의 동적 정신입니다.

CASE-D · CRITERIA

4가지 검증 기준

배심원단은 한 사이트를 평가할 때 4가지 기준에 따라 점수를 매깁니다. 각 기준의 정의와 측정 방식을 공개합니다.

CASE-E · FAQ

자주 묻는 질문

링크모음사이트 배심원 시스템에 대해 가장 많이 받는 질문 6가지를 정리했습니다.