Social Welfare Thorn News, 福智衍, 복지비틀기

사회복지를 평가한다는 것에 대해 원론적인 의문과 고민이 생겨버렸다.

그 첫번째가 과연 사회복지를 어떻게 평가할 수 있는가이다.

현재 정량평가에 대비해 정성평가라고 이름붙이고 있긴한데, 이러한 질적 평가를 하기 위한 잣대들을 살펴보면 대부분 양적 지표에 의존하고 있는 것을 볼 수 있다.

그러다보니 오류에 빠지게 된다.

fallacy of composition
양적 평가 지표로 질적 항목을 평가하는 것은 아전인수(我田引水)격이라 할 것이다.

정성평가는 질적 평가여야 하며, 그를 위해서는 질적 지표가 필요하지 않을까?

이는 완전히 다른 새로운 차원의 접근이어야만할 것이다.

관련하여 용어를 찾아보니 아직 제대로 된 용어도 모르고 있었지 않았나라는 생각이 들었다.

evaluation 이라는 단어는 과연 적절한 표현인가?

찾다보니 위와 같은 표현들을 볼 수 있었다.

어떤 것이 적확한 표현일지는 나중에 더 고민해봐야겠다.

한국사회복지협의회 사회복지시설평가원(http://www.cswe.co.kr)에서 2015년 사회복지시설(사회복지관 포함) 평가지표 개발을 위한 의견수렴을 진행하였다.

이에 대한 회신을 하면서 개인적으로 생각한 점들과 이전 평가 관련 글에서 언급하였던 내용들을 간략히 정리해보았다.

2015 사회복지관 평가지표 고찰.hwp

결론만 얘기해보자면, 복지관의 평가지표는

첫째, 최적기준과 최저기준의 이중잣대가 평가의 신뢰도를 떨어뜨린다.

- A3, A4, B7, C1, C4, D
둘째, 용어의 정의가 애매모호하여 혼란의 여지가 많다.

- D1
셋째, 현실을 반영못하며, 평가결과가 개선으로 이어지지 못한다.

- C1, C3, F7

세부내용은 위 붙임 한글파일 참조~

이러한 문제점들을 해결하기 위해 몇가지 대안을 제시해 보자면,

첫째, 평가와 지도점검으로 역할분리하는 것이 어떨까 한다.
과거 복지관 평가와 달리 그 목적이 이제는 수준향상이 목적이 아니라 기본인프라에 대한 표준화의 시도, 프로그램에 있어서는 지역사회를 반영하는 특화사업에 대한 전문성 평가의 방향 등으로 나아가야 함이 옳을 것이며 이를 위한 시설운영평가와 프로그램평가로의 이원화를 제안해본다. 기존 지자체는 지도점검이라는 이름으로 매년 복지관을 평가하고 점검하고 있다. 지자체의 지도점검에 불신하는 것이 아니라면 이중 점검은 비효율적이다. 만일 보다 나은 시설운영에 대한 평가지표가 있다면 지자체에 하달하는 것으로 그 역할을 다한 것으로 보는 것이 어떨까?

둘째, 복지관 시설운영안내와 같은 지침과 일원화의 시도이다. 복지현장에는 너무나 많은 지침이 있다. 하지만 그 지침들이 관계법령과의 조정은 아직도 요원하다. 그러한 통합화의 일환으로 복지관운영의 지침서와 평가가 일원화되어 제시된다면, 복지관 평가가 그렇게 힘들지만은 않을 것 같다. 물론 이것은 평가지표가 사전에 나와서 공지되고 그 지표에 의거하여 복지사업이 수행됨을 의미한다.

셋째, 벌써 10년이나 된 주장이지만, 이제라도 인증제를 도입하는 것이다. 최초 언급했던 것처럼 복지관 평가의 목적이 어디에 있는가라는 원론적인 의문에 대해 인증제는 가장 현실적이고 모범적인 대안이 될 수 있을 것이라 생각한다.

이전 글 모음~

2012/05/23 - [[정보] 복지 이야기/[福] 복지정보들] - 사회복지관 평가 지표

2012/06/07 - [[정보] 복지 이야기/[談] 복지비틀기] - 사회복지관 평가지표에 대한 고찰

2012/04/27 - [[정보] 복지 이야기/[談] 복지비틀기] - 사회복지사의 업무가중은 110%까지만 요구하면 안될까?

2012/11/21 - [[정보] 복지 이야기/[法] 복지관련 법령] - 사회복지관 종사자 정원(배치기준)에 관한 정보

2013/04/02 - [[정보] 복지 이야기/[談] 복지비틀기] - 보건복지부 사회복지시설 평가결과를 보며...

보건복지부에서 지난 3월 13일 보도자료를 통해 2012년 사회복지시설 평가결과를 발표하였다. 그 결과 사회복지관의 서비스품질이 가장 우수한 것으로 나타났다.

[3.13.수.조간]_복지서비스_품질은_사회복지관이_최고.hwp

[출처] http://www.mw.go.kr/front_new/al/sal0301vw.jsp?PAR_MENU_ID=04&MENU_ID=0403&CONT_SEQ=282980&page=1

ㄴ 위 첨부문서는 BY-NC-ND 즉 저작자표시-비영리-변경금지(2차 저작물 작성불허)의 CCL 표기를 포함하고 있습니다.^[각주:1]

사회복지관은 A등급 263개소(63.8%), B등급 111개소(26.9%)로 전체의 약 91%에 해당되는 374개소가 우수한 시설인 것으로 평가되어 대다수의 사회복지관이 타 시설유형에 비해 높은 수준에 도달했음을 보여주었다.

이를 재구성하여 해석해 보면, 전국 412개소 A등급을 받은 263개소는 90~100점사이의 점수분포구간에 포진해 있음을 의미한다. 즉 A등급을 받은 기관 내부에서의 편차는 0.04점 정도로 보인다. 가/나형 79개(다형은 73개) 지표로 진행된 이번 사회복지관 평가는 문항별로 1.266점 정도의 배점을 가지며, 4점 척도로 재환산시 척도당 0.3점 정도의 배점을 갖는다. 척도는 0.3점의 편차를 갖는데, 피평가 기관간의 내부편차는 0.04점일 뿐이라는 점은 결국 평가지표가 사실상 변별력을 갖지 못한다는 점을 보여준다.
쉽게 얘기해 100점 만점 받은 기관이 24개 기관이나 있다는 얘기이며, 이 수는 전체의 5.8%를 차지한다는 얘기와 동일하다. 이번 평가 발표가 보여주는 것은 평가를 통한 줄세우기가 사실상 아무런 의미를 갖지 못한다는 뜻이기도 하다. 그런데 이것이 공무원들이나 구의회 의원들에게는 그렇게 보이지 않는가 보다.

한편, 사회복지관은 평균점수에 있어 3년 전 대비 평가지표가 더욱 강화되는 방향으로 변화했음에도 불구하고 2.6점의 향상이 있었다.

게다가 항목별로 보았을 때 재정·조직, 인적자원관리를 제외한 모든 영역에서 90점 이상으로 나타났다.

이에 대해 보건복지부는 사회복지시설 전반에 대해 아래와 같이 평가하고 있다.

참 편한 해석이 아닐 수 없다.
사회복지관 또한 공통적으로 가장 낮은 점수를 얻은 문항이 인적자원관리이다. 그리고 다음으로 낮은 평가점수를 받은 영역이 재정·조직이다. 이러한 평가는 과연 사실일까? 이에 대해서는 지표를 보다 구체적으로 살펴볼 필요가 있으며, 두가지 견해가 있을 수 있다.

첫째, 책임을 시설로 떠넘기는 평가해석의 문제이다.
인적자원관리의 평가 문항은 공통문항으로 ①직원의 충분성, ②직원의 자격증 소지 비율, ③직원의 이(퇴)직률, ④직원의 외부교육 참여, ⑤직원 교육활동비, ⑥관장의 전문성, ⑦직원채용의 공정성, ⑧직원업무평가, ⑨직원의 고충처리 등 9개 문항이며, 사회복지관은 ⑩최고 중간관리자의 전문성과 경력, ⑪슈퍼비전, ⑫직원복지, ⑬직원교육 등 4개문항으로 평가를 실시하였다.
뭔가 이상하지 않은가? 자격증을 가진 직원의 수가 충분하지 않으며, 그나마 교육도 제대로 못하고 있고, 이직률 또한 높은 것이 문제라고 평가지표는 얘기하고 있다. 이것을 어떻게 사회복지관만의 책임으로 돌릴 수 있단 말인가?
이는 사회복지관의 재정·조직이 인적자원관리 다음으로 낮은 평가점수를 받은 것과 관련지어 생각하지 않을 수 없다. 재정·조직의 평가지표에서는 세입에서는 보조금 대비 자부담/후원금의 비중을 세출에서는 사업비의 비중을 늘릴 것을 요구하고 있다. 자원개발을 하자니 후원담당자가 필요하고, 프로포절을 하여서 자원을 획득하자니 전문인력이 더욱 절실하다. 그런데 사무비의 대부분을 인건비가 차지하는 사회복지관에서 이미 충분하지도 않은 직원의 수를 줄이지 않은 다음에서야 사업비의 비중을 늘릴 길이 없다. 이는 사회복지관만의 문제는 아니라고 본다.

둘째, 상대평가임에도 절대평가지표를 적용한 문제이다.
인적자원관리(C)와 재정·조직(B)의 평가지표는 B영역 6개문항 중 3개문항, C영역은 14개문항 중 6개문항이 상대평가지표이다. 결국 평가시 중앙값을 어떻게 잡았느냐에 따라서 점수는 얼마든지 달라질 수 있다.
만일 B영역에 중앙값을 두고 평가를 실시하였다면, 다른 영역들과는 달리 아무리 잘해도 평균 A라는 결과는 절대로 나올 수 없는 구조인 것이다. 그런데 수준이 떨어지니 더욱 강화해야하겠다는 것은 얼토당토 않은 소리라는 얘기다. 상대평가를 실시한 영역을 절대평가한 영역과 비교하는 초보적인 우를 범한 것을 단순히 실수라 보기엔 평가원과 보건복지부에 똑똑한 사람들이 너무나 많다.

그렇다면 상대평가지표가 절대평가는 불가능한 영역인가 하면 그렇지도 않다. 이미 12년의 평가를 통해 절대적 지표를 산출하고도 남을 정도의 데이터가 쌓였을 것이라 생각된다. 결과 해석은 사회복지관이 갖추어야할 인적자원관리와 재정·조직에 관한 절대지표를 제시한 다음 그 수준을 평가내리는 것이 옳다.

만일 이미 그 결과가 도출되어 있다면 명명백백히 공개함이 당연하고, 기준제시를 통해 평균 이하의 인적자원관리 및 재정·조직관리가 이루어지고 있는 시설에 대해서 상향 평준화될 수 있도록 원인분석 및 가이드라인을 제시하는 것이 우선일 것이다.

그럼에도 불구하고 사회복지관이 가장 평가결과 서비스 품질이 우수하다고 한다.
실상 상대평가로 진행되는 두 영역(그래도 우수 B)을 제외하면, 모든 영역에서 매우 우수하다(A)는 평가결과가 나타난 셈이다. 이러한 사회복지관/사회복지시설의 평가가 사회복지시설의 줄세우기 및 목조르기가 아니라, 처우개선과 운영현실의 개선에 중요한 지표로 활용될 수 있기를 바란다.

사회복지시설 평가 결과 보도자료에 대한 고찰.hwp

2008년 부산시 장애인복지프로그램 보급사업에서 활용하였던 현장평가표입니다.

당시에도 참 꼼꼼히 만든 지표구나 생각했었습니다.

다른건 몰라도 프로그램의 질에 대한 평가는 현재의 복지관 평가지표보다도 우월한 것이 틀림없습니다.

여러 이유로 장애인복지프로그램 보급사업을 진행하지 않은지 시간이 제법 흘러, 지금은 어떤 지표로 평가를 실시하고 있는지는 모르겠습니다.

당시에는 지표의 수준이 너무 높지 않나 생각도 했었지만 지금은 여러 보이지 않던 것들이 보이기 시작하네요.

복지관 프로그램 업그레이드를 위해 활용해 봐야겠습니다.

2008 장애인복지보급사업 현장평가 지표.hwp

복지관 평가에 대한 개인적인 단상들을 늘어놓아보았습니다.

아직 생각이 정리가 덜되어 있어서 제 글 자체가 일관성이나 타당성이 부족할 수 있음을 압니다.

다만, 단초가 필요했습니다.
여기에 여러 선후배님들의 좋은 생각이 더해지면 하는 바람입니다.

복지관에 계신 여러 선후배님들은 복지관 평가를 어떻게 바라보고 계십니까?

아래는 지난달 말부터 페이스북을 통해 늘어놓았던 개인적 소회를 하나의 파일로 묶어본 것입니다.

미리 말씀드리지만 많이 거친 생각입니다.

사회복지관_평가지표에_대한_고찰_v1.2.3.hwp

언젠가 다시 생각들을 한번 정리해 볼 것입니다.

그때는 다른 분들의 많은 이야기를 모아서 저만의 생각이 아닌 우리의 생각을 담을 수 있었으면 합니다.

그때까지 부끄럽지만 글을 열어두고자 합니다.

페이스북에서 다른 분들의 생각도 한번 보세요~

http://www.facebook.com/jshever

아래는 기존의 평가지표 및 평가결과 모음 자료입니다.

2012/05/23 - [[정보] 복지 이야기/[福] 복지정보들] - 사회복지관 평가 지표