사회복지 조사설계 part1. 내적 타당도

사회복지 조사설계에서 내적 타당도(internal validity)가 매우 중요하다

 

사회복지에서 조사를 설계할 때 중요한 것 중 하나가 바로 내적 타당도다. 내적 타당도는 독립변수와 종속변수 간 인과관계를 추론할 수 있는 정도를 말한다. 내적 타당도가 높으면 인과관계가 명확한 것이고, 낮으면 인과관계가 약한 것이다. 연구자가 내적 타당도를 높이기 위해 연구 과정에서 외생변수를 잘 통제해야 한다. 그래야 변수 관계에 영향을 주는 요인이 줄어들기 때문이다. 외생변수를 가장 잘 통제하는 연구 방법은 실험이다. 실험 연구 방법이 내적 타당도가 가장 높다. 따라서 내적 타당도가 높은 연구를 원하는 연구자는 실험 설계를 주로 선택한다.

 

 

 

 

조사설계에서 내적 타당도를 저해하는 요인과 그 해결 방법을 알아보자

 

조사설계에서 내적 타당도를 저해하는 요인은 매우 많다. 여러 요인을 알아보고 그 해결 방법도 공부해보자. 첫 번째, 우연한 사건이 있다. 실험이나 조사 개입 중에 다른 일이나 사건이 개입되는 경우가 있다. 독립변수 외에 종속변수에 영향을 줄 다른 요인이 중간에 영향을 주는 것이다. 두 번째, 성숙이다. 시간이 지나면서 자연스럽게 성장하고, 치유 효과가 나타나는 경우가 존재한다. 특히 어린 아동의 경우 신체 성장이나 인지발달이 시간이 지나면서 자연스럽게 성장하고 발달하게 된다. 따라서 특정 변수로 인해 일어난 결과라고 단정 짓기 어렵다. 세 번째, 검사(testing)가 있다. 조사를 진행하기 전에 진행하는 검사가 영향을 미치는 경우가 있다. 사전검사가 사후검사에 미치는 영향을 검사 효과라고 말한다. 사전검사와 사후검사가 같은 도구로 진행될 때 나타나는 효과다. 이미 한 번 검사를 진행해봤기 때문에 기억에 의존해서 검사에 참여했을 수도 있기 때문이다. 네 번째, 검사와 개입 간 상호작용이 나타날 수 있다. 사전검사를 진행한 지 않을 경우와 진행할 때의 검사 결과가 달라지는 것을 말한다. 이는 사전검사 자체가 개입 효과에 영향을 미쳐 결과적으로 변수에 영향을 주는 것이다. 개입 때문에 나타난 효과인지 사전검사 효과인지 구분하기 어려워진다. 다섯 번째, 도구 자체의 신뢰성이다. 측정 도구가 신뢰성이 높은 것이 아니라면 도구로 측정한 결과의 신뢰성의 문제가 제기된다. 그리고 사전검사와 사후검사를 서로 다른 도구로 측정했을 경우에도 검사 결과에 의문을 제기할 수 있다. 여섯 번째, 통계적 회귀(statistical regression)이다. 통계적 회귀는 사전검사에서 극단적으로 높은 점수를 받은 조사 대상자들이 사후검사에서는 점수가 낮아지고, 반대로 극단적으로 낮은 점수를 받은 조사 대상자들이 사후검사에서 점수가 높아지는 경향을 말한다. 즉, 사전검사와 사후검사의 점수가 뒤집어지는 것을 말한다. 이들은 점수가 극단적이기 때문에 개입의 영향을 받은 것인지 아닌지 판단하기 어렵다. 일곱 번째, 실험대상자의 상실이다. 실험을 진행하는 과정에서 조사 대상자가 다양한 이유로 중도에 참여를 그만두는 경우가 발생할 수 있다. 중도 탈락자가 많아지는 경우 실험을 진행하는 표본의 수가 적어지기 때문에 변수 간 관계를 파악하는 것이 어려워진다. 여덟 번째, 확산과 모방이다. 두 집단을 비교하는 실험을 진행할 때, 그 집단의 구성원 간 교류를 통제할 수 없다. 개입의 효과가 확산하고 모방되면서 인과관계를 명확하게 판단하기 어려워진다. 마지막으로, 편향된 선별이 있다. 실험집단과 통제집단을 나누어 실험을 진행할 때 두 집단은 서로 동질성을 갖고 있어야 한다. 그러나 집단을 할당할 때 한 집단으로 특정 속성이 편향될 수도 있다. 이 경우에 집단 선별이 치우쳐져 실험 결과를 일반화하기 어려워진다. 그렇다면 내적 타당도를 저해하는 요인들을 해결하는 방법은 무엇일까?? 첫 번째, 무작위 할당(random assignment)이 있다. 실험집단과 통제집단을 확률적으로 가장 동질성을 가지게 구성하는 방법이다. 무작위 방법으로 조사 대상자를 할당하면 외생변수까지도 통제할 수 있어 내적 타당도를 높이는 데 가장 효과적이다. 두 번째, 배합(matching)이 있다. 배합은 종속변수에 영향을 미칠 것이라고 판단되는 변수를 연구자가 실험집단과 통제집단에 동일하게 맞춰서 배치하는 방법이다. 연구자는 미리 집단의 특성을 파악하고 두 집단의 이질성을 줄이도록 노력한다. 외부 요인을 잘 통제하려면 연구자가 대상 집단을 잘 이해해야 한다. 무작위 할당이 어려울 때 사용할 수 있는 차선책이다. 세 번째, 통계적 통제가 있다. 통계적 통제는 자료수집 단계가 아니라 자료 분석 단계에서 통계적으로 통제 변수의 영향을 줄이는 방법이다. 자료를 수집할 때는 통제 변수도 독립변수처럼 간주하여 조사설계에 포함한다. 그 후 자료를 분석하는 과정에서 그 영향을 통계적으로 통제하는 방법이다.