methodologie van de knipperlichten

1

METHODOLOGIE VAN DE KNIPPERLICHTEN VOOR DE EXTERNE AUDIT VAN DE MVG IR. ANNE. DELVAUX (STATISTICUS-ANALIST) MINISTERIE VAN SOCIALE ZAKEN, VOLKSGEZONDHEID EN LEEFMILIEU. BESTUUR GEZONDHEIDSZORG, BESTUURSDIRECTIE GEZONDHEIDSZORGBELEID

Inleiding De Minimale Verpleegkundige Gegevens (MVG) zijn een verpleegkundige-zorgindicator die niet alleen voor de ziekenhuisfinanciering maar ook voor onderzoek en intern beheer van de instellingen kan gebruikt worden. Het is derhalve van belang dat de geregistreerde gegevens een getrouwe weerspiegeling zijn van de verpleegkundige-zorgrealiteit. Voor het evalueren van de betrouwbaarheid van de geregistreerde MVG kunnen er twee soorten controles uitgevoerd worden : een interne controle door de instellingen zelf en een externe door de administratie. De algemene principes van een interne audit werden bij een andere gelegenheid reeds uiteengezet (zie Nieuwsbrieven 9 en 11). De methodologie van de knipperlichten van de externe MVG-audit wordt uiteengezet in wat volgt. De feedback van een externe MVG-audittest werd in de Nieuwsbrief nr.17 gepubliceerd.

Knipperlichtenmethode 1. Principe Ter ontwikkeling van de methodologie van de externe audit werd er beslist om het principe van de knipperlichten te gebruiken, met name indicatoren waarmee de instellingen met de extreme profielen gedetecteerd kunnen worden. De knipperlichten worden berekend op het niveau van de verpleegeenheden en vervolgens op dat van het ziekenhuis samengebracht. Ze worden op de items en op de personeelsgegevens (aantal en kwalificatie) toegepast. De knipperlichten betreffende de items zijn op de ridit-waarden gebaseerd. De manier waarop de ridits worden berekend wordt uitgelegd in bijlage 1. Voor het personeel worden de voltijds equivalenten per observatie en de kwalificatie-ridit gebruikt. De "extreme" verpleegeenheden worden opgespoord door de verschillende kenletters te scheiden, aangezien de vergelijking van de verpleegeenheden van alle kenletters samen niet aangewezen is. Bepaalde kenletters (b.v. intensieve zorg) vertonen immers een specifiek profiel. De knipperlichten worden voor een welbepaald MVG-registratiejaar berekend, met name het meest recente op het Ministerie beschikbare en volledig gearchiveerde en gecontroleerde jaar. 2. Methode toegepast op de items Het berekenen van de knipperlichten geschiedt in twee fasen : eerst wordt de verdeling van de ridit-waarden van alle verpleegeenheden (op nationaal niveau) bepaald. Vervolgens worden de verpleegeenheden met de meest extreme waarden ten opzichte van die verdeling opgespoord. 1° Verdeling van de ridit-waarden van alle verpleegeenheden samen.

2

Voor elk item worden voor elke kenletter afzonderlijk de percentielen 10, 25, 50, 75 en 90 van de distributie van de ridit-waarden van alle verpleegeenheden van de betrokken kenletter berekend. Met die percentielen kunnen er 6 zones gedefinieerd worden : zone 1 = P90 De 10 percentiel (P10) is de riditwaarde van de verdeling waarbij 10 % van de verpleegeenheden een riditwaarde behalen die lager ligt of gelijk is aan P10. De 25 percentiel (P25) is de riditwaarde van de verdeling waarbij 25 % van de verpleegeenheden een riditwaarde behalen die lager ligt of gelijk is aan P25. De 50 percentiel (P50), of mediaan, is de riditwaarde van de verdeling waarbij 50 % van de verpleegeenheden een riditwaarde behalen die lager ligt of gelijk is aan P50. Men kan zo verder gaan voor de percentielen 75 (P75) en 90 (P90). De zones 1 en 6 bevatten dus elk 10 % van de verpleegeenheden (de uitersten). De zones 2 en 5 bevatten elk 15 % van de verpleegeenheden. Tenslotte, bevatten de zones 3 en 4 elk 25 % van de verpleegeenheden. 2° Vergelijking van de ridit-waarden van de verpleegeenheden met de nationale verdeling. Voor elk item : •

wordt elke verpleegeenheid overeenkomstig zijn ridit-waarde in een van de zes zones geplaatst;

•

werkt het knipperlicht als : de verpleegeenheid zich in zone 1 of 6 bevindt voor de items 1, 2, 3, 4, 6, 7, 8, 10, 12, 15, 16, 18 tot 24; de verpleegeenheid zich in zone 6 voor de items 5 (sondevoeding), 9 (tracheotomiepatiënten), 11 (zelfstandigheidstraining), 13 (gedesoriënteerde patiënten), 14 (afzondering contaminatie) en 17 (toezicht tractie) bevindt. Het betreft immers nominale items (absolute scores gelijk aan 0, 1 of 2) waarvoor de verhouding 0 zeer hoog ligt. De verdeling van de ridits van die items wordt door een zeer sterke linker asymmetrie gekenmerkt, waarbij de percentielen 10 en 25 (soms ook 50) onderling gelijk zijn. Het lagere knipperlicht is derhalve onbruikbaar, terwijl het hogere zijn belang behoudt.

3° Voorbeeld :

3

Tabel 1. Percentielen van de verdeling van de ridits voor de zorg i.v.m. hygiëne per kenletter (Belgiê 1998). Kenletter C D E I M

P10 0,34 0,33 0,39 0,57 0,26

P25 0,40 0,39 0,52 0,63 0,30

P50 0,46 0,46 0,61 0,69 0,39

P75 0,51 0,52 0,69 0,76 0,47

P90 0,55 0,58 0,74 0,79 0,50

Tabel 2. Ridits van de zorg i.v.m. hygiëne in de verpleegeenheden van ziekenhuis X. Kenletter C D E I M

Ridit 0,62 0,57 0,78 0,74 0,32

Zone 6 5 6 4 3

Knipperlicht Ja Neen Ja Neen Neen

3. Methode toegepast op de personeelsgegevens Net zoals voor de items worden de knipperlichten betreffende het personeel in twee fasen berekend. Eerst worden de twee verdelingen (op nationaal niveau) vastgesteld : de eerste voor de voltijds equivalent per observatie (VTE/obs.) in de wetenschap dat een observatie overeenkomt met een dag opname en de tweede voor de kwalificatieridit. Vervolgens worden de verpleegeenheden met de uiterste waarden ten opzichte van die verdelingen opgespoord. 1° Verdeling van de waarden van alle verpleegeenheden samen. Voor de VTE/obs. alsmede voor de kwalificatie worden voor elke kenletter afzonderlijk de percentielen 10, 25, 50, 75 en 90 van de verdeling van de waarden van alle verpleegeenheden van de beschouwde kenletter berekend. Met die percentielen kunnen er 6 zones gedefinieerd worden : zone 1 = P90 2° Vergelijking van de waarden van de verpleegeenheden met de nationale verdeling. Voor de beide variabelen (VTE/obs. en kwalificatie) afzonderlijk : • wordt elke verpleegeenheid in een van de 6 zones geplaatst in functie van zijn VTE/obs. of riditkwalificatiewaarde; • werkt het knipperlicht als de verpleegeenheid tot zone 1 of 6 behoort.

4

3° Voorbeeld Tabel 3. Percentielen van de verdeling van de voltijdse equivalenten per observatie, per kenletter (Belgiê 1998). Kenletter C D E I M

P10

P25

P50

P75

P90

0,28 0,26 0,38 0,95 0,40

0,31 0,29 0,44 1,15 0,46

0,34 0,33 0,51 1,39 0,55

0,39 0,38 0,59 1,66 0,66

0,47 0,47 0,70 1,98 0,79

Tabel 4. Percentielen van de distributie van de kwalificatieridits per kenletter (Belgiê 1998). Kenletter C D E I M

P10

P25

P50

P75

P90

0,38 0,37 0,43 0,58 0,51

0,42 0,41 0,48 0,63 0,56

0,47 0,47 0,54 0,66 0,61

0,53 0,53 0,58 0,69 0,66

0,58 0,59 0,64 0,73 0,70

Tabel 5. VTE/obs. en kwalificatieridits van de verpleegeenheden van ziekenhuis X. Kenletter

VTE

VTEZone

Knipperlicht

Kwalificatieridit

C D E I M

0,32 0,30 0,43 1,59 0,48

3 3 2 4 3

neen neen neen neen neen

0,54 0,62 0,49 0,74 0,59

Zone van de kwalificatieridit 5 6 3 6 3

Knipperlicht neen ja neen ja neen

Opmerking : de berekening van de percentielen (voor de ridits van de verschillende items en het personeel) is enkel van belang voor de kenletters waarvan het aantal verpleegeenheden voldoende hoog ligt. Voor bepaalde verpleegeenheden zijn de zones en knipperlichten dus louter indicatief. 4. Synthese van de knipperlichten op niveau van de verpleegeenheid Voor elke verpleegeenheid : − wordt de zone voor elk item, voor het kwalificatieniveau en de VTE/obs. bepaald; − wordt er een (actief of niet-actief) knipperlicht gekoppeld aan elk item, aan het niveau van de kwalificatie en aan de VTE/obs.;

5

− worden de knipperlichten van de items in 3 algemene indicatoren samengevat : • het totaal aantal knipperlichten (P10 of P90 zonder onderscheid); • het totaal aantal knipperlichten zone 1 (P10); • het totaal aantal knipperlichten zone 6 (P90). 5. Synthese van de knipperlichten op niveau van het ziekenhuis Op het niveau van het ziekenhuis, kunnen de knipperlichten van de items geresumeerd worden door het gemiddelde aantal knipperlichten per verpleegeenheid of het percentage knipperlichten van het ziekenhuis ten opzichte van het totale aantal knipperlichten te berekenen. Die twee parameters geven ons een algemene indicatie over het aantal knipperlichten in de instelling. Vergeten we niet dat die beide parameters door een constante aan elkaar gekoppeld zijn. Er kan ook een onderscheid gemaakt worden tussen de knipperlichten P10 en P90. Tabel 6. Overzicht van de knipperlichten van ziekenhuis Y (9 verpleegeenheden). Verpleegeenheden

Kenletter

Totaal aantal knipperlichten

1 2 3 4 5 6 7 8 9 Totalen

C C D D D E E I M -

8 3 3 4 6 6 15 1 9 55

Aantal knipperlichten P10 3 2 2 2 3 5 6 1 4 28

Aantal knipperlichten P90 5 1 1 2 3 1 9 0 5 27

Totaal aantal knipperlichten van het ziekenhuis = 55 Gemiddeld aantal knipperlichten per verpleegeenheid = 55/9=6,1 Gemiddeld aantal knipperlichten P10 per verpleegeenheid = 28/9=3,1 Gemiddeld aantal knipperlichten P90 per verpleegeenheid = 27/9=3,0 Maximum aantal mogelijke knipperlichten = 243 (9 verpleegeenheden en 27 items) Percentage knipperlichten ten opzichte van het maximumaantal knipperlichten =100 X 55/243 = 22,6%. 6. Boordtabel van de externe audit De boordtabel van de externe audit geeft op één bladzijde een overzicht van de positie (zonenummer) van alle verpleegeenheden van het ziekenhuis voor alle items en voor het personeel. Hij geeft ook een synthese van de knipperlichten op het niveau van de verpleegeenheid en van het ziekenhuis.

6

De eerste audits startten in 1997 en de auditors beschikten over boordtabellen die opgesteld waren op basis van de MVG-gegevens 1994. De boordtabellen werden vervolgens gebaseerd op de MVG-jaren 1995, 1997 en ten slotte 1998, het laatste op het Ministerie beschikbare jaar. Inhoud van de boordtabel van de externe audit. 1° Voor elke verpleegeenheid : • • •

algemene gegevens (kenletter, nummer, aantal bedden, aantal geregistreerde perioden, aantal dagen); zone en knipperlicht voor de VTE/obs. en voor de kwalificatieridit; zone voor elk item, totaal aantal knipperlichten, totaal aantal knipperlichten P 10, totaal aantal knipperlichten P90.

2° Voor het ziekenhuis : Aantal verpleegeenheden, gemiddelde aantallen knipperlichten (items) per verpleegeenheid (totalen, P10 en P90), percentage knipperlichten (items) ten opzichte van het maximumaantal knipperlichten. Voorbeeld van een boordtabel De boordtabel van een fictief ziekenhuis en de bijbehorende legende werden als bijlage 2 en 3 opgenomen. Interpretatie van de boordtabel van de externe audit. Met de boordtabel kunnen er bijzondere verpleegeenheden op basis van de knipperlichten opgespoord worden. Het kan gaan om eenheden met een groot aantal knipperlichten of eenheden met enkele knipperlichten voor precieze items. De auditor wil hier te weten komen of die knipperlichten verklaard kunnen worden (bepaalde verpleegeenheden kunnen immers terecht een extreem profiel hebben). Met die boordtabel kunnen er ook problemen op niveau van het coderen van bepaalde items opgespoord worden, bijvoorbeeld wanneer vrijwel alle verpleegeenheden zich stelselmatig in dezelfde zone bevinden (onafhankelijk van de aanwezigheid van knipperlichten). De boordtabel is vooral nuttig omdat elke instelling hiermee snel al haar verpleegeenheden ten opzichte van de andere verpleegeenheden met dezelfde kenletter kan situeren. 7. Knipperlichten en boxplots De definitie van de 6 gebruikte zones in de methodologie van de knipperlichten houdt verband met de weergave van de verdelingen in de vorm van boxplots. Vergeten we niet dat een boxplot een grafische weergave is in de vorm van een met horizontale lijnen verlengde rechthoek. Via een boxplot kan men bv. snel de percentielen P10, P25, P50, P75 en P90 van de verdeling van de ridit-waarden van de verpleegeenheden visualiseren voor een item binnen een kenletter. De fijne lijn links begint bij percentiel 10. De dikke lijn links begint bij percentiel 25 en eindigt bij percentiel 75. De fijne lijn rechts eindigt bij percentiel 90. De verticale lijn komt overeen met percentiel 50 (mediaan).

7

De figuur hieronder toont twee van die boxplots die uit de federale feedback financiering gehaald werden.

Bloedpuncties Medicatie IM/SC/ID

Door het vergelijken van de ridit-waarden van de verschillende items voor elke verpleegeenheid (afgedrukt in de individuele feedback financiering) met de nationale boxplots van de overeenstemmende kenletter, kan een ziekenhuis zelf zijn knipperlichten bepalen. Deze enigszins omslachtige bewerking wordt automatisch uitgevoerd door het programma feedback III (X, 2000). Met dit programma kan men inderdaad de grafische weergave van de positie van een verpleegeenheid van een ziekenhuis ten opzichte van de nationale boxplot van de overeenstemmende kenletter verkrijgen. De verpleegeenheid wordt door een ster weergegeven. Wanneer die zich buiten de boxplot bevindt, functioneert het knipperlicht, ofwel het knipperlicht P10 (links van de boxplot), ofwel het knipperlicht P90 (rechts van de boxplot). Het programma feedback III laat dus eveneens toe de knipperlichten van de items en die van het personeel op te sporen. Voorbeelden van boxplots met feedback III gerealiseerd vindt u in bijlage 4.

Praktische uitvoering van de externe audit De praktische uitvoering van de externe MVG-audit en enkele resultaten van de door het Ministerie verrichte audits worden in een ander artikel beschreven. De selectieprocedure voor de ziekenhuizen en voor de dossiers wordt hier beschreven. Voor het eerste auditbezoek worden de ziekenhuizen op toevallige basis uitgekozen. In de toekomst zou de methodologie van de knipperlichten gebruikt kunnen worden om een deel van de ziekenhuizen te selecteren. De ziekenhuizen met het grootste aantal knipperlichten zouden op die manier het eerst aan een audit onderworpen kunnen worden. De door de auditors onderzochte dossiers worden op toevallige basis geselecteerd, het eerst de verpleegeenheden met het grootste aantal knipperlichten en vervolgens de andere verpleegeenheden. Alle verpleegeenheden en ziekenhuisdiensten moeten in de mate van het mogelijke vertegenwoordigd zijn.

Conclusies Een belangrijke fase werd ingeluid met het opstarten van de externe MVG-audit en met een eerste bezoek aan alle ziekenhuizen. Om de verpleegeenheden en de ziekenhuizen met “extreem profiel” op te sporen, werd de knipperlichtenmethode uitgewerkt. Die methode is niet alleen een nuttig instrument voor de MVG-auditoren maar ook voor de ziekenhuizen zelf, welke die in het kader van de interne audit kunnen gebruiken. Met de externe audit wordt een beter begrip van de interne organisatie van de ziekenhuizen in zake verzameling en controle van de MVG-gegevens mogelijk (bijhouden van de verpleegkundige dossiers, coderen van de items, nazicht). Dat moet uitmonden in raadgevingen om beter te coderen en de interne audits zo goed mogelijk uit te

8

voeren. Voorts wordt het hierdoor mogelijk om gegevensmanipulatie te detecteren. Uiteindelijk is het doel te komen tot een betrouwbare MVG-registratie, zodat men meer vertrouwen in dat instrument gaat krijgen, wat dan weer het ontwikkelen van nieuwe toepassingen mogelijk maakt.

Bibliografie Ministerieel besluit van 30 december 1993. Belgisch Staatsblad van 21 januari 1994, bijlage 2, 1211-1224. BROSS I.D.J. (1958). How to use ridit analysis. Biometrics, 14, 18-38. DELVAUX en JANSSENS (2001). De Minimale Verpleegkundige Gegevens en hun integratie in de financiering van de ziekenhuizen. Ministerie van Sociale Zaken, Volksgezondheid en Leefmilieu (Bestuur van de gezondheidszorg, Bestuursdirectie gezondheidzorgbeleid), Brussel, 10 p. SERMEUS W., DELESIE L., VAN LANDUYT J., WUYTS Y., VANDEN BOER G., MANNA M. (1994). Minimale Verpleegkundige Gegevens in België : basis voor het gezondheidszorgbeleid van morgen. (Bestuur der Verzorgingsinstellingen), Katholieke Universiteit Leuven (Centrum voor Ziekenhuiswetenschap), Brussel-Leuven, 79 p. X (2000). R.I.M. feedback III. Ministerie van Sociale Zaken, Volksgezondheid en Leefmilieu (Bestuur van de gezondheidszorg, Bestuursdirectie gezondheidzorgbeleid), Brussel, 38 p.

9

Bijlage 1. Berekeningsprincipe voor de riditscores De “ridit transformation” werd door BROSS gedefinieerd in 1958 en maakt het mogelijk ordinale of binaire variabelen om te zetten in riditscores tussen 0 en 1. Ze wordt gebruikt om de MVG-gegevens om te zetten (Ministerieel besluit van 30 december 1993, SERMEUS et al., 1994 ; DELVAUX en JANSSENS, 2001). De riditscores worden berekend voor elk MVG-item, voor elke verpleegeenheid die de MVG gedurende een jaar heeft geregistreerd. Voor de riditscores moet er steeds een referentie worden berekend. Bij de MVG gaat het over het algemeen om een jaarlijkse referentie (alle MVG-dagen in alle diensten van alle Belgische ziekenhuizen gedurende één jaar). Voorbeeld van berekening van de riditscore. 1. Berekening van de riditscores van de referentiepopulatie. Het item “hulp bij hygiënische zorg” is een ordinale variabele met 4 klassen of stijgende niveaus (niveau 1 = zonder hulp, niveau 2 = ondersteunende hulp, niveau 3 = gedeeltelijke hulp en niveau 4 = volledige hulp). In de tabel 7 is de referentiepopulatie samengesteld uit 100 verpleegdagen (een verpleegdag = 24 uren van het verblijf van een patiënt) die als volgt worden verdeeld voor de hygiënische zorg :40 % zonder hulp, 10 % met ondersteunende hulp, 15 % met gedeeltelijke hulp en 25 % met volledige hulp. De riditscore van elke klasse wordt berekend door het percentage dagen van de klassen die lager zijn dan de beschouwde klasse op te tellen bij de helft van het percentage dagen van de beschouwde klasse. Tabel 7. Voorbeeld van berekening van de riditscore voor de referentiepopulatie. Hygiëne Zonder hulp Ondersteunende hulp Gedeeltelijke hulp Volledige hulp

Aantal dagen 40 20 15 25 100

Berekening (0+20)/100 (40+10)/100 (60+7,5)/100 (75+12,5)/100

Riditreferentie 0,20 0,50 0,675 0,88

2. Berekening van de riditscore voor een verpleegeenheid. Een verpleegeenheid met 20 verpleegdagen die als volgt worden verdeeld voor de hygiënische zorg : 20 % zonder hulp, 35 % met ondersteunende hulp, 25 % met gedeeltelijke hulp en 20 % met volledige hulp. Om de ridit van een verpleegeenheid te krijgen, dient men het percentage dagen van elke klasse te vermenigvuldigen met de riditscore van de referentiepopulatie voor de beschouwde klasse en daarna de verschillende waarden op te tellen (tabel 8).

10

Tabel 8. Voorbeeld van berekening van de riditscore voor een verpleegeenheid. Hygiëne Zonder hulp Ondersteunende hulp Gedeeltelijke hulp Volledige hulp

Aantal dagen 4 7 5 4 20

Percentage dagen 0,20 0,35 0,25 0,20 1,00

Riditreferentie 0,20 0,50 0,675 0,88

Ridit verpleegeenheid 0,040 0,175 0,169 0,176 0,560

De riditscore van de verpleegeenheid voor hygiënische zorg is gelijk aan 0,56.

11

Bijlage 2. Voorbeeld van een boordtabel

12

Bijlage 3. Legende van de boordtabel Kenl Ve Bed Nbper Nbjour bip_nbus

som_bip bip_10 bip_90 bip_etp bip_qua cl_etp cl_qua cl_v1 … cl_v24 aant. ver. gemiddelde knipperlichten gemiddelde knipperlichten P10 gemiddelde knipperlichten P90 percentage knipperlichten

Dienst, kenletter Nummer verpleegeenheid Aantal bedden Aantal geregistreerde MVG-perioden (van 1 tot 4) Aantal verpleegdagen knipperlicht over het aantal verpleegeenheden per kenletter: indien 0 OK, kunnen de knipperlichten personeel en items worden gebruikt indien 1 niet OK (te weinig verpleegeenheden in die kenletter op landelijk niveau), kunnen de knipperlichten personeel en items niet worden gebruikt totaal aantal knipperlichten items totaal aantal knipperlichten P10 items totaal aantal knipperlichten P90 items knipperlicht VTE knipperlicht kwalificatieridit zone VTE (1 tot 6) zone kwalificatieridit (1 tot 6) zone item (1 tot 6 voor V1 tot V24) aantal verpleegeenheden van het ziekenhuis gemiddeld aantal knipperlichten voor de items (gemiddeld per verpleegeenheid) gemiddeld aantal P10 knipperlichten voor de items (gemiddeld per verpleegeenheid) gemiddeld aantal P90 knipperlichten voor de items (gemiddeld per verpleegeenheid) percentage knipperlichten voor de items van het ziekenhuis, berekend ten opzichte van het maximum aantal mogelijke knipperlichten

13

Bijlage 4. Voorbeelden van boxplots gerealiseerd door het feedback III programma De items:

Het personeel: