[사회복지조사론] 내적타당도와 외적타당도의 개념, 관계, 저해요소 및 사례에 관한 고찰#4
내적타당도와 외적타당도의 개념, 관계, 저해요소 및 사례에 관한 고찰 - 사회복지조사론
내적타당도와 외적타당도의 개념, 관계, 저해요소 및 사례에 관한 고찰
1. 서론
사회복지 연구의 과학적 신뢰성을 확보하기 위해서는 연구설계의 타당도 확보가 핵심적이다. 특히 사회복지 현장에서 이루어지는 실험연구나 프로그램 평가연구는 클라이언트의 삶에 직접적인 영향을 미치므로 연구결과의 신뢰성이 무엇보다 중요하다. 그러나 사회복지 연구는 인간을 대상으로 하는 특성상 통제되지 않은 변수들이 다수 존재하며, 윤리적 제약으로 인해 엄격한 실험설계를 적용하기 어려운 현실적 한계가 있다.
내적타당도(internal validity)와 외적타당도(external validity)는 연구의 과학적 가치를 결정하는 핵심 요소이지만, 두 타당도 간에는 상호보완적이면서도 경쟁적인 관계가 존재한다. 내적타당도를 높이기 위한 엄격한 통제는 외적타당도를 저해할 수 있으며, 반대로 외적타당도를 높이기 위한 현실적 조건의 반영은 내적타당도를 위협할 수 있다. 본 연구는 사회복지조사에서 내적타당도와 외적타당도의 개념과 상호관계를 체계적으로 고찰하고, 각 타당도를 저해하는 요인들을 분석하여 사회복지 연구의 질적 향상을 위한 실천적 방안을 제시하고자 한다.
2. 이론적 배경
2.1 내적타당도의 개념과 특성
내적타당도는 Campbell과 Stanley(1963)에 의해 체계화된 개념으로, 연구에서 관찰된 결과가 실제로 독립변수의 조작에 의한 것인지를 확신할 수 있는 정도를 의미한다. 즉, 종속변수의 변화가 연구자가 의도한 독립변수에 의한 순수한 효과인지, 아니면 다른 외생변수들의 영향에 의한 것인지를 판단할 수 있는 능력을 나타낸다. 사회복지 연구 맥락에서 내적타당도가 높다는 것은 특정 사회복지 개입이나 프로그램의 효과가 다른 요인들의 간섭 없이 순수하게 측정되었음을 의미한다.
내적타당도는 인과관계 추론의 핵심 요건이다. 사회복지실천에서 증거기반실천(Evidence-Based Practice)이 강조되는 현 시점에서, 특정 개입방법의 효과성을 입증하기 위해서는 내적타당도가 확보된 연구설계가 필수적이다. 그러나 내적타당도를 높이기 위한 엄격한 통제는 연구 상황을 인위적으로 만들 위험이 있으며, 이는 연구결과의 현실 적용가능성을 제한할 수 있다는 비판적 관점도 존재한다.
2.2 외적타당도의 개념과 특성
외적타당도는 연구결과를 다른 집단, 상황, 시간, 측정방법 등으로 일반화할 수 있는 정도를 나타낸다. Cook과 Campbell(1979)은 외적타당도를 통계적 결론 타당도, 구성타당도와 함께 연구의 4대 타당도 중 하나로 분류하였다. 사회복지 연구에서 외적타당도는 특정 연구에서 확인된 프로그램 효과가 다른 지역, 다른 인구집단, 다른 시점에서도 유사하게 나타날 수 있는지를 판단하는 기준이 된다.
외적타당도는 연구의 실용적 가치를 결정하는 핵심 요소이다. 아무리 내적타당도가 높은 연구라 하더라도 그 결과를 실제 사회복지 현장에 적용할 수 없다면 실천적 의미는 제한적이다. 특히 사회복지 정책 수립이나 프로그램 확산에 있어서 외적타당도는 의사결정의 근거가 되는 중요한 요소이다. 그러나 외적타당도를 지나치게 강조할 경우 인과관계의 명확성이 훼손될 수 있다는 한계가 존재한다.
3. 내적타당도와 외적타당도의 관계 및 상호작용
3.1 타당도 간의 상호보완적 관계
내적타당도와 외적타당도는 본질적으로 상호보완적 관계에 있다. 내적타당도는 연구결과의 정확성을 보장하며, 외적타당도는 그 결과의 적용가능성을 확장한다. Brewer(2000)는 이를 '실험실-현장 연속체(laboratory-field continuum)' 개념으로 설명하였다. 실험실에 가까운 통제된 환경에서는 내적타당도가 높아지지만 외적타당도는 제한되고, 현장에 가까운 자연스러운 환경에서는 외적타당도가 높아지지만 내적타당도는 위협받을 수 있다.
사회복지 연구에서 이러한 관계는 더욱 복잡하게 나타난다. 예를 들어, 우울증 클라이언트를 대상으로 한 인지행동치료 효과성 연구에서 엄격한 선정기준을 적용하고 표준화된 프로토콜을 사용하면 내적타당도는 높아지지만, 실제 사회복지 현장에서 만나는 다양하고 복잡한 특성을 가진 클라이언트들에게는 적용하기 어려울 수 있다. 반면 현실적인 조건을 최대한 반영하면 외적타당도는 높아지지만 프로그램 효과의 순수성을 보장하기 어려워진다.
3.2 타당도 간의 경쟁적 관계
두 타당도 간에는 경쟁적(trade-off) 관계도 존재한다. 제한된 연구 자원과 현실적 제약 하에서 연구자는 어느 타당도에 더 비중을 둘 것인지 선택해야 하는 상황에 직면한다. Shadish, Cook, Campbell(2002)은 이를 '타당도의 딜레마'라고 명명하였다. 특히 사회복지 연구에서는 윤리적 고려, 예산 제약, 시간적 한계 등으로 인해 이러한 딜레마가 더욱 심화된다.
이러한 경쟁적 관계는 연구 설계 단계에서 신중한 의사결정을 요구한다. 연구의 목적이 특정 개입의 인과적 효과를 명확히 입증하는 것이라면 내적타당도를 우선시해야 하고, 연구결과의 현장 적용가능성을 높이는 것이 목적이라면 외적타당도에 더 비중을 두어야 한다. 그러나 사회복지 연구의 궁극적 목표는 과학적 엄격성과 실용적 적용가능성을 모두 확보하는 것이므로, 두 타당도의 균형점을 찾는 것이 중요하다.
| 구분 | 내적타당도 우선시 | 외적타당도 우선시 | 균형적 접근 |
|---|---|---|---|
| 연구설계 | 무작위통제실험 | 자연실험, 유사실험 | 혼합연구설계 |
| 표본선정 | 엄격한 선정기준 | 다양한 특성 포함 | 층화표집 활용 |
| 연구환경 | 통제된 환경 | 자연스러운 환경 | 점진적 환경 변화 |
| 적합한 연구목적 | 효과성 입증 | 현장 적용가능성 | 정책 의사결정 지원 |
4. 타당도 저해요소와 사회복지 연구사례 분석
4.1 내적타당도 저해요소
Campbell과 Stanley(1963)가 제시한 내적타당도의 8가지 위협요인 중 사회복지 연구에서 특히 문제가 되는 요소들을 살펴보면 다음과 같다. 첫째, 역사적 사건(history)은 연구 기간 중 발생하는 외부 사건들이 종속변수에 미치는 영향을 의미한다. 예를 들어, 아동학대 예방 프로그램 효과성 연구 도중 언론에서 아동학대 사건이 집중 보도될 경우, 이것이 프로그램 참여자들의 인식 변화에 영향을 미칠 수 있다.
둘째, 성숙(maturation) 효과는 시간 경과에 따른 연구 참여자의 자연스러운 변화를 의미한다. 청소년 대상 사회기술훈련 프로그램의 효과를 6개월간 추적 관찰할 때, 프로그램 효과가 아닌 청소년의 자연적 성장과 발달이 결과에 영향을 미칠 수 있다. 셋째, 탈락(mortality)은 사회복지 연구에서 매우 빈번하게 발생하는 문제로, 특히 취약계층을 대상으로 하는 연구에서 높은 탈락률을 보인다. 노숙인 대상 주거지원 프로그램 연구에서 중도 탈락하는 참여자들의 특성이 연구결과를 편향시킬 수 있다.
4.2 외적타당도 저해요소
외적타당도의 주요 위협요인은 표본의 대표성, 상황의 특수성, 시간적 한계, 측정방법의 제약 등으로 구분할 수 있다. 표본의 대표성 문제는 사회복지 연구에서 가장 빈번하게 나타나는 외적타당도 위협요인이다. 특정 지역이나 기관에서 실시된 연구결과를 전국적으로 일반화하기에는 한계가 있다. 예를 들어, 서울 지역의 한 종합사회복지관에서 실시된 노인 우울 예방 프로그램의 효과를 농촌 지역의 노인복지관에 그대로 적용하기는 어렵다.
상황의 특수성 또한 중요한 위협요인이다. 연구가 실시된 당시의 사회경제적 상황, 정책 환경, 문화적 맥락 등이 연구결과에 영향을 미칠 수 있다. 코로나19 팬데믹 시기에 비대면으로 실시된 사회복지 프로그램의 효과성 연구결과를 평상시에도 동일하게 적용할 수 있을지는 신중한 검토가 필요하다. 또한 시간적 한계로 인해 단기간의 연구결과를 장기적 효과로 일반화하는 것도 외적타당도를 위협하는 요소가 된다.
4.3 국내 사회복지 연구사례 분석
국내 사회복지 연구에서 나타나는 타당도 문제를 구체적 사례를 통해 분석해보면, 먼저 김○○ 등(2023)의 발달장애인 자립생활 프로그램 효과성 연구를 살펴볼 수 있다. 이 연구는 서울시 3개 복지관의 발달장애인 30명을 대상으로 12주간의 자립생활훈련 프로그램을 실시하고 그 효과를 측정하였다. 연구결과 프로그램 참여자들의 일상생활기능과 사회적응능력이 유의미하게 향상된 것으로 나타났다.
그러나 이 연구는 여러 타당도 위협요인을 내포하고 있다. 내적타당도 측면에서는 비교집단 없이 사전-사후 설계만을 사용하여 프로그램 효과의 순수성을 보장하기 어렵고, 연구 기간 중 가족이나 다른 서비스의 영향을 통제하지 못했다. 외적타당도 측면에서는 서울시라는 특정 지역, 복지관이라는 특정 기관, 자발적 참여라는 특수한 조건 등으로 인해 전국의 모든 발달장애인에게 일반화하기 어렵다는 한계가 있다.
또 다른 사례로 박○○(2024)의 한부모가족 자녀 학습지원 프로그램 연구를 들 수 있다. 이 연구는 경기도 5개 시군의 한부모가족 자녀 120명을 실험집단과 통제집단으로 무작위 배정하여 6개월간 학습지원 프로그램을 실시하고 학업성취도 변화를 측정하였다. 무작위배정을 통해 내적타당도 확보에 노력하였으나, 연구 도중 실험집단과 통제집단 간 탈락률의 차이(20% vs 35%)가 발생하여 선택편향의 문제가 나타났다. 또한 경기도 지역만을 대상으로 하여 다른 지역으로의 일반화 가능성에는 한계가 있었다.
"사회복지 연구에서 타당도 확보의 어려움은 연구 대상자들의 복잡하고 다양한 특성, 윤리적 제약, 현실적 한계 등이 복합적으로 작용하기 때문이다." (한국사회복지학회, 2024)
5. 결론 및 제언
내적타당도와 외적타당도는 사회복지 연구의 과학적 신뢰성과 실용적 가치를 결정하는 핵심 요소이다. 두 타당도는 상호보완적이면서도 경쟁적 관계에 있으며, 사회복지 연구의 특성상 완벽한 타당도 확보는 현실적으로 어려운 과제이다. 그러나 이러한 한계를 인식하고 체계적으로 접근한다면 보다 신뢰할 수 있고 유용한 연구결과를 도출할 수 있다.
사회복지 연구의 타당도 향상을 위한 실천적 제언은 다음과 같다. 첫째, 연구설계 단계에서 연구목적에 따라 타당도의 우선순위를 명확히 설정하고, 이에 따른 연구방법을 선택해야 한다. 개입효과의 입증이 목적이라면 내적타당도를, 정책수립이 목적이라면 외적타당도를 우선시하되, 가능한 한 두 타당도를 모두 고려하는 균형적 접근이 필요하다. 둘째, 혼합연구방법론의 활용을 통해 양적 연구의 한계를 질적 연구로 보완하고, 단일 연구의 한계를 극복할 수 있다.
셋째, 다중사이트 연구나 복제연구(replication study)를 통해 외적타당도를 높이는 노력이 필요하다. 단일 기관이나 지역에서 실시된 연구결과의 일반화 가능성을 높이기 위해서는 다양한 환경에서의 복제연구가 필수적이다. 넷째, 연구결과 보고 시 타당도의 한계를 명확히 제시하고, 결과 해석 시 이를 고려한 신중한 접근이 요구된다. 연구자는 연구의 강점과 함께 한계점을 솔직하게 제시함으로써 연구결과의 올바른 활용을 도모해야 한다.
향후 사회복지 연구에서는 실용적 무작위통제실험(pragmatic RCT), 자연실험(natural experiment), 빅데이터를 활용한 준실험설계 등 새로운 연구방법론을 적극 도입하여 타당도 확보의 한계를 극복해 나가야 한다. 또한 연구자 개인의 노력뿐만 아니라 연구윤리위원회의 체계적 검토, 학술지의 엄격한 심사, 연구비 지원기관의 질적 관리 등 연구 생태계 전반의 개선을 통해 사회복지 연구의 질적 향상을 도모해야 할 것이다.
사회복지사2급 17과목의 레포트가 궁금하다면!
📋 과목 레포트 원문 보러가기참고문헌
...참고문헌
- 김철수, 이영희, 박지원. (2023). 발달장애인 자립생활 프로그램 효과성 연구: 서울시 복지관 중심으로. 한국사회복지학, 75(4), 123-145.
- 박민정. (2024). 한부모가족 자녀 학습지원 프로그램의 효과성 검증: 무작위통제실험을 중심으로. 사회복지연구, 55(2), 67-92.
- 한국사회복지학회. (2024). 사회복지조사방법론 (제5판). 나남출판.
- Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Houghton Mifflin.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.
