멘붕 재건을 위한 100분 토론 (1차) 평가의 재구성

현 평가의 핵심적인 문제는 무엇인가?

그리고 그런 문제들이 구조화된 배경은 무엇인가?

개금종합사회복지관 정수홍

복지관 평가가 시작되기 며칠 전, 여전히 복사기는 미친 듯이 A4 용지를 뿜어내고 있으며, 점점 지쳐가는 복지사들의 초췌한 표정 속에 내가 도대체 무슨일을 하고 있는것인가 하는 회의와 자조섞인 표정이 묘하게 교차한다. 문득 복사기의 토너가 떨어졌다는 메시지, 용지걸림 등을 보면서 나도 저 복사기처럼 뻗어버리면 어떨까 하는 어이없는 상상을 해보지만 이내 들려오는 상사의 목소리에 기계적으로 평가준비를 계속해 나간다. 하지만 끝이 보이지 않는다.

무엇이 문제일까?

평가준비를 미리미리 하지 못한 죄? 해야할 일들을 미처 다해내지 못한 죄?

아니, 3년전에 미리 오늘의 평가지표를 예상하지 못한 죄이다.

현장의 많은 사회복지사들이 평가가 잘못되었다고 얘기한다. 과연 무엇이 잘못된 것이며, 왜 그토록 많은 복지사들이 분노하는 것일까? 그에 대해 한참을 고민한 끝에 도달한 내 대답은 평가가 우리가 생각해던 기대와는 다르기 때문이라는 결론이다.

사실 평가지표야 거의 10년전에 거의 완성되어 있었고, 세부적으로 조금씩 측정방법이 달라지곤 있지만, 큰 틀에서의 변화는 없는 듯하다. 그런데 현장의 복지사들이 단체로 건망증에 빠진 것이 아닌 다음에야 왜 3년 후의 평가를 미리 준비하지 못하는 것일까? 어쩌면 우리의 고민은 바로 여기에서 시작한 것이 아닐까? 즉 현장에서 실제와 부합하지 않는 평가지표, 그것이 우리를 힘들게 한다.

애매한 용어의 사용

평가의 A부터 F까지 6개 영역은 크게 A, B, C, E, F 곧 운영의 영역과 D 프로그램 영역으로 이분화 할 수 있다. 이중 D 영역을 제외한, 결국 재정과 운영의 영역에서 현장의 복지사들은 수많은 질문을 던졌고, 그에 대해 평가원의 답변을 목이 빠져라 기다리고 있었다. 실제로 평가사이트에 올라온 질문과 답변의 수는 1천여개를 훌쩍 넘어갔으며, 직접 질문을 하지 않더라도 다른 사람들의 질문을 보면서 재해석하고 조정하기까지 최소 1개월 이상이 소요되어야 했다. 평가지표가 잘못된게 아니라면, 그것을 제대로 해석해 내지 못하는 나는 아니 수십년 복지현장에 종사해 오신 여러분들이 모두 문제가 있다는 말인가? 그 수많은 현장 전문가들에게 해석을 내려주는 평가원은 진짜 질문자보다 탁월한 견해의 전문가이기는 할까?

D1에서 등록실인원이라는 족보도 알 수 없는 표현에 대한 거부감과 11개나 되는 평가 프로그램의 수에 대해 현실적인 한계에 대해서는 뒤에서 다시 언급코자 한다.

일관성 없는 지침과 지표

실제로 평가지표를 보면, 해석 상의 문제를 넘어, 객관성과 타당성은 어떻게 담보하였는지와 지표간의 형평성과 일관성에 대한 조정은 어떻게 된 것인지 의구심을 갖게하는 부분이 많이 있다.

단적으로 사회복지시설은 보건복지부의 사회복지시설 운영안내를 기본 지침으로 삼고 있다. 그 위에 사회복지사업법과 관련법령들을 기본 골자로 하는 것은 당연하다. 하지만 평가지표는 이 법령 및 지침의 위에 있는 듯하다. 지난 3년을 이러한 지침에 의거하여 운영했는데, 그와는 기준선을 달리하는 지표를 갖고 평가하겠다고 하고 있으니 현장이 힘이 들 수밖에 없다.

아래는 간략히 추려본 불합리하고 기준이 불명확하다고 생각되는 지표들이다.

A3. 편의시설 설치상태와 A4. 식품위생관리는 단적으로 그러한 기준의 혼란을 보여준다. A3는 법령보다 완화된 기준을, A4는 법 기준을 잣대로 하고 있는데, 실은 그 반대가 되어야 옳다.

B. 재정 및 조직운영은 시설이 제시하는 값에 대한 신뢰도를 확인할 방법이 없다. 비교의 기준 자체가 부재함을 꼬집음이다. 국가의 통계자료는 폼으로 있는 것이 아닐진데, 즉 필요성도 없다. 게다가 결정적으로 보조금, 자부담, 후원금의 규모는 단순히 수치로만 해당시설의 우열을 판단하는 것은 불합리하다.

C1. 기관의 월평균 확보 직원 수를 조사하기에 앞서 사회복지관 운영지침 그 어디에도 종사자의 배치기준이나 업무량에 대한 내용은 없다. 업무량에 비해 직원이 많은 것도 불합리이며, 적은 것도 불합리이다. 그럼에도 불구하고 객관적 기준없이 직원의 수를 가지고 상대평가하는 것은 어불성설이다. 지난 10년간의 평가를 통해 그것이 현장의 효율성을 담보하고자 하였다면, 응당 가장 먼저 해결되어야 하는 부분이 종사자의 최적 아니 최저 인원에 대한 기준 마련일 것이다. 하지만 그런 얘기는 쏙 빠진 아니 요원해 보이기까지 하다. 지난 10여년 동안 도대체 뭐했나 반문하고 싶을 뿐이다. C3. 직원의 이(퇴)직률, C4. 직원의 외부교육 참여시간에 대한 타당성 제시는 없는 채 10년 동안 똑같았다.

보건복지부에서 발간하는 사회복지관 운영 관련 업무처리 안내에는 5대 사업의 영역에서 각 1개 이상, 최소 8개 이상의 사업을 진행토록 명시하고 있다.

F1. 자원봉사자 실인원 및 시간은 마지막까지 논란이 일었던 항목이다. 중언부언이 되어 생략하지만, 지표는 반드시 실제 현장을 측정가능한지 여부의 검토가 뒤따라야 한다. F7. 직원은 지역사회 각종 위원회와 조직에 얼마나 자주 참석해야만 하는 것일까? 되묻고 싶은 부분이다.

여기서 이미 평가지표는 상당부분 신뢰도를 상실했다.

“처음부터 그렇게 하라고 하던지, 왜 이제와서?”

현장의 불만을 단적으로 대변해주는 한마디일테다.

하지만, 난 이에 대해서 하나를 덧붙이고 싶다.

처음부터 가능할 법한 일을 하라고 얘기하라고~

기적을 요구하는 상대평가의 문제점 : 합리적인 서비스량 산출 기준 부재

2009년 전국 사회복지관 평가에서 우리나라 사회복지관의 종사자 수는 평균 26.64명으로 나타났으며, 그 중 부산은 20.78명으로 나타났다. 그에 대한 종사자의 구성 중 사회복지사의 수는 6.65명, 이 얼마나 맹랑한 수치인가? 과연 사회복지사 6~7명으로 올해 평가지표를 수행하기에 충분하다고 생각하는가?

그들은 대부분 지자체 위탁사업으로 대부분 진행하고 있는 사업이 무료급식(주부식 업체 입찰, 주문, 지출관리), 노인대학, 바우처사업, 노인일자리사업, 자활근로사업은 각기 1명의 사회복지사가 역할을 할 것을 요구하는 사업으로 대부분 매일 진행되고 있다. 이렇게 일하면서 복지관 복지사들이 챙겨야하는 복지관 이용자는 부산시만 하더라도 복지관 당 평균 16,621.69명에 달한다. 모든 종사자 중 사회복지사의 수인 9.45명으로 나누면 1,758명이며, 1명의 사회복지사가 시간당 0.7명(1758명÷12월÷209시간)의 이용자를 만나고 있는 꼴이다. 물론 대부분의 경우 개별적 접근보다는 집단적 접근이 많을 것이다. 대부분 10~20명의 이용자를 집단으로 만나고 있는 경우가 대부분이겠지만, 여기 제시한 수치도 실인원이다. 이용인원은 평균 183,900.67명으로 다시 계산해보면 시간당 73.325명이 나온다. 가능하다고 보는가?

이제 누가 있어 최소한 석사는 되어야만 가능할 법한 수준의 프로포절로 11개나 되는 전문복지사업을 수행하고 자원봉사자 관리, 후원자 관리, 사례관리 및 사례회의를 실시하고, 실습지도, 홍보사업(소식지 발간, 홈페이지 운영, SNS 관리)을 수행할까? 그러면서 운전도 하고, 공사도 하고, 연간 60시간 이상의 교육과 각종 사회활동에도 참석해야한다.

사회복지는 기적이 아니다. 그들이 거짓말을 하고 있는 것이 아니라면, 사회복지사 개개인들의 역량이 아주아주 뛰어나거나, 노동착취를 당하고 있거나 둘 중의 하나 또는 둘다일 것이다. 2012년 평가 결과는 과연 어떻게 나타날지 매우 기대되는 바가 아닐 수 없다.

사회복지시설평가 10년, 방향을 잃다.

이제 처음으로 다시 돌아가보자. 이러한 문제들을 야기한 원인은 어디에 있을까? 그것은 결국 평가가 그 목적을 상실하였기 때문이라는 것이 내 결론이다. 그것이 아니라면 우리가 생각하는 것과는 또다른 이면의 목적을 갖고 있든지 말이다.

사회복지시설평가원에서는 밝힌 평가원의 목적은 한마디로 말해, 사회복지시설의 운영에 따른 효율성 및 서비스 질을 제고하여 수준의 균형화를 추구함에 있다고 말할 수 있다. 바꾸어말하면, 평가지표는 복지시설 운영의 효율성을 제고할 수 있는 방향성 제시와 시설의 수준을 상향평준화 하기 위한 최적의 틀을 제공하는 기능을 한다고 볼 수 있다. 과연 현 평가지표는 이처럼 훌륭한 평가의 목표를 수행할 수 있을것인가?

지난 10년, 평가지표가 답보하고 있는 사이 사회복지실천현장은 부쩍 성장해 버렸다. 현장의 자체평가서가 발송된 이후에도 달라지는 해석과 현장평가시 재조정하겠다는 평가원의 이야기에서는 변화 발전의 조짐은 보이지 않는다.

이러한 수준에서 평가가 사회복지사업 또는 사회복지서비스의 품질에 대한 질적 평가를 담을 수 있는가에 대해서는 언급 자체가 요원하다. 이러한 불합리한 평가 환경 속에서 평가위원들은 그들의 전문성과 양심 때문에 평가원의 충실한 전달자가 되지 못했으며, 그렇다고 그 전문성을 충분히 살려 현장의 복지수준을 제고하는 기능도 제대로 수행할 수 없었다. 시간과 인력이 안타까운 일이 아닐 수 없다.

도대체 무엇을 위한 평가란 말인가? 이미 측정 불가능해진 잣대를 버리지 않는 한 목적은 차치하고 대안제시도 요원할 수밖에 없다.

결론적으로 얘기해보자면 복지관의 평가지표는

첫째, 애매모호한 용어의 사용과 혼선은 평가의 품질을 근본적으로 떨어뜨렸다.

둘째, 객관적 기준이 부족하며, 타당도가 부족한 지표가 평가의 신뢰도를 떨어뜨리고 있다.

셋째, 현실을 반영못하고 있으며, 그로 인해 이미 그 목표를 상실하였다.

넷째, 정량지표와 여부평가에 국한되어서 사회복지시설의 서비스 품질을 평가하지 못한다.

첨언

1. 현장의 문제점

이에 덧붙여 현장의 짜맞추기식 대응, 지나친 기대에 대한 부응 욕구, 눈앞의 이익에 급급한 평가 대처, 대안없는 웅성거리기 식의 성토, 아전인수격의 지표 해석 등이 버무려져 본연의 맛과 색깔을 잃어버린 고추장 범벅의 비빔밥이 되어버렸으니 이는 다른 분들이 다시 말씀해주시지 않을까 한다.

2. 평가의 평가

평가에 대한 평가를 온라인으로 입력하면서 마지막으로 든 생각 하나, 평가과정에 대한 평가에서 고객중심, 만족도 조사에서 요구하였던 신뢰성(Reliability), 수행성(Performance), 준수성(Conformity), 결핍성(Deficiency), 확실성(Assurance) 등은 다 어떤 문항에 담겨 있는 것일까? 이의제기 수단은 있지만 그에 대한 과정공개는 없어 투명성을 담보하지도 않는다. 그냥 믿어 달라는 한마디 말에 또한 번 실망.

매번 반복되는 복지관 평가에 대한 논란을 바라보면서 평가 자체는 왜 변화 발전이 없는가에 대한 의문이 든다.

이제는 평가 자체가 발전할 때 아닐까?