[ Method ] Making sense of card sorting data

https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1468-0394.2005.00299.x

Making sense of card sorting data

Abstract
지식 추출 기술 중 카드소팅은 주제 용어의 초점 및 잠재적 지식을 이끌어내는 능력으로 유명하다. 대용량 데이터셋이 생성시 카드 소팅의 분석에 대한 것을 중심으로 설명한다.
방법론은 크게 두가지로 나뉜다.
참여자가 분류한 그룹들을 실험자가 해석을하는 전통적인 의미론적 분석, 

분류한 그룹에 대한 데이터를 통계적인 방법 등으로 분석하는 구문론적 방법이다.
이 논문에는 여러 카드소팅 실험 후 분석한 논문들을 요약 및 한계점에 대해 설명한다. 또한 대용량 데이터셋인 경우 잘 알려진 방법과 논문에서 새로 제시하는 방법으로 의미있는 분석이 가능하다는 점에 주목한다.

---

Rugg and McGeorge
목적 : 추출 기술 중 카드 종류를 분류, 활용 가능한 연구 종류를 설명, 실험에서 카드를 실행하는 방법에 대한 자습서를 제공하고 여러가지 분석을 제공
기준 유형이 관찰가능한지, 주관적인지 객관적인지 판단, 공통적인 기준 탐색, 지식 오류 및 부재 처리

Garrard and Dickinson
목적 : 직장인의 여성 노동 복장에 대한 인식을 남, 녀에 대한 차이를 조사(Superordinate analysis 사용)
Superordinate analysis: 실험자가 기준 또는 범주를 그룹이 유사하거나 의미에 기초하여 상위 기준으로 묶는 방법

결과 : 여성의 결혼여부 기준으로 남성 참여자가 확연하게 분류한다는 것을 알게 되었다. 또한 성별에 따른 차이 말고도 이어서 비전문가와 전문가의 차이도 밝혔다.

 

Martine and Rugg

목적 : 카드소팅을 활용한 웹 페이지 및 기타 시각적 자극에 대한 유사성 매트릭을 생성하는 방법을 개발하였다.

방법 : 이 매트릭은 참여자의 그룹별 상관행렬(빈도에 따른)로 생성하여 상다안 편향의 원인을 줄이는 효과가 있다. 또한 특정 분석을 통해 참여자들의 언어나 문화가 같지 않아도 비교할 수 있으며, 그룹이름이 아닌 분류 그룹화만 의존하기 때문에 주제의 분류에 포함되어 있지만 주제를 명확하게 표현할 수 없는 잠재적 의미도 발견할 수 있다.

 

Sanders et al.(나머지 논문들)

목적 : 컴퓨터 과학 교육 부문 부트 스트랩 연구의 일부분으로, 초기 프로그래밍 학생들의 개념적 구조에 대한 다국적이고 여러 기관의 카드 종류 조사를 하였다. 주요 논점은 학생 프로그래머가 독립적인 프로그램 컨셉과 이 컨셉을 만드는데에 대한 관계를 알아보고자 함이었다.

방법 : 1000개 이상의 종류와 5000개의 범주 이름이 수집 되었고, 방대한 데이터이기 때문에 통계적으로 분석하는 구문 분석 방법을 사용하였다. 집계된 데이터(예, 그룹 수, 그룹 당 범주) 또는 식별 가능한 하위변수(예, 남녀/ 성적이 높은 학생과 낮은 학생/특정 프로그래밍 언어에 대한 지식이 있는 학생)로 통계적 수치를 얻는데 문제가 없다. 그러나 연구의 논점을 해결하는데 어려움이 있었다.

예로 들면, '어려움'과 '심화'라고 표현한 참여자 X와 Y가 같은 의미로 쓰고 있는가? Rugg and McGeorge는 laddering이 카드소팅 하는 동안 참여자의 의미를 끌어낼 수 있다고 주장하지만 1000개 이상이 되는 그룹의 경우에는 한계가 있다.  

---

이러한 문제들이 있어서 본 논문에서 제시하는 새로운 방법론을 소개한다. 데이터가 많은 카드소팅 분석에 맞지만 소규모에도 적합하다.

 

Deibl et al. 

방법 : Martine and Rugg가 주장한 유사성 매트릭과 유사한 방법으로, 그룹별로 각 카드간의 유사성을 측정한다. Martine and Rugg는 자극에 대한 유사성 매트릭을 생성한 반면, Deibl et al.은 단순히 두 카드 사이의 edit distance, 즉, 하나의 카드가 "옮겨진"(하나의 카테고리 그룹에서 다른 그룹으로 옮겨지는 것) 횟수이다.

예를 들어, '어려움'과 '심화'라고 분류한 카테고리로 분류한 카드는 의미에 초점을 둔 것이 아니기 때문에 다르다고 간주하며, 두개의 분류된 카드만을 비교한다. 저자는 edit distance를 사용하여 유사도가 높은 이웃을 결정하고 트정 의미론적 가설에 대한 통찰력을 얻는지(예, 참여자 X가 무엇을 싫어하는가?)에 대한 가설을 증명하고, 넓은 범위의 이웃에 대한 의미론적 분석(Abstract에 설명되어 있음)에 초점을 맞춘다. 

한계점 : 실험을 성공하는데까지 시간이 너무 오래걸리고, 그래프 이론에 대한 전문 지식이 필요하다. 이러한 알고리즘은 프로그래밍 하는데 필요한 지식을 갖춘 소수의 연구원만 제외하고는 사용할 수 없다. 따라서 Deibl et al.은 탐색적 분석을 위해 연구 커뮤니티에서 프로그램을 만들었다.

 

Fossum and Haller

목적 : 참가자의 분류된 그룹 개수와 그룹간의 직교성 또는 차이에 대한 기초를 찾기 위함이다.

방법 : Rugg and McGeorge 방법론과 같은 의미론적 방법으로 하였다. 이들은 모든 주제가 단순히 같은 종류 또는 사소한 차이로 반복적으로 분류하지 않는다고 가정한다. 본질적으로. 참가자의 그룹에 의한 개념적인 공간의 양을 측정한다. 유사한 종류는 많은 공간이 있더라도 매우 좁은 슬라이스만 차지하는 반면, 매우 다른 종류는 더 많은 공간을 차지한다.

Deibel의 edit distance에서 Minimum spanning tree의 엣지를 합산하여 직교성을 측정한다. McCauely et al.(2005)에서 제시한 무작위 생성되는 데이터가 참여자가 나눈 것을 비교할 때, 매우 높은 직교성을 가진다는 주장을 경험적 증거로 보여줌으로써, 직교성을 도메인의 지식의 기준으로 사용하는데 한계가 있다고 결론지었다.

 

McCauely et al.

목적 : Bootstrapping 연구에 따라, 부트스트래핑 세트를 사용하여 291개의 그룹을 65명의 졸업자가 한 데이터를 후속 조치하는 방법에 대해 설명한다.

방법 : 학생들의 카테고리와 기준 라벨의 16가지 상위 특성 분석을 수행한다. 이 분석방법을 Content analysis groups(CAGs) 라고 한다. CAGs는 직교성 메트릭을 사용하여 각 CAGs에 대한 모든 그룹에 대한 구조적 유사성의 정도를 검증하고, Deibel et al.의 edit distnace 메트릭을 사용하여 각 CAG에 대한 대표적 그룹을 생성한다. 이는 특정 카드 그룹을 조사하여 참여자의 의미와 상관없이 전체 CAG의 의미에 대한 추가 통찰력을 제공할 수 있다.