Evalueringen viser imidlertid at det er en utbredt oppfatning av at veiledning fungerer og at veiledning er nyttig i forhold til læring og praksisendring. Evalueringen viser at det er ulik praksis og ulike vurderinger når det gjelder bruk av veiledning i veiledningssammenheng, spesielt når det gjelder om veiledning kan og bør være en del av veiledning.
INNLEDNING
B AKGRUNN
- Tilsyn på barnehage- og opplæringsområdet
- Om evalueringen
M ETODISK TILNÆRMING OG DATAGRUNNLAG
- Dokumentanalyse
- Dybdeundersøkelser
- Breddeundersøkelser
- Effektanalyser av utfallsmål
- Evalueringsworkshop
Undersøkelsen av kommunen som barnehagemyndighet ble distribuert til alle kommuner som hadde tilsyn med barnehageområdet i perioden 2014-2020. Rektorundersøkelsen ble sendt til et utvalg rektorer som har veiledet skolen sin i perioden 2014-2020.
L ESERVEILEDNING
Informasjon om utførte tilsyn og tema for tilsyn ble samlet inn av Utdanningsdirektoratet som en del av dokumentanalyse. For hvert inspeksjonsår ekskluderte vi skoler der data manglet for året før eller etter inspeksjonen.
TILSYN SOM VIRKEMIDDEL
- I NNLEDNING
- S TATLIG VIRKEMIDDELBRUK
- F ORMÅL MED TILSYN PÅ BARNEHAGE - OG OPPLÆRINGSOMRÅDET
- O PPSUMMERING
For å kunne vurdere denne problemstillingen anser vi det som viktig å se nærmere på hva hensikten med overvåking er. I tillegg ser vi at noen omtaler virkemidlet som et mål i seg selv, nemlig at formålet med tilsynet er å gjennomføre kontroller.
UTVIKLINGSTREKK
- I NNLEDNING
- S AMLET ANTALL TILSYN GJENNOMFØRT AV STATSFORVALTERNE ER REDUSERT
- Tilsyn med kommunen som skoleeier
- Tilsyn med fylkeskommunen som skoleeier
- Tilsyn med kommunen som barnehagemyndighet og barnehageeier i særlige tilfeller
- U TDANNINGSDIREKTORATETS TILSYN MED PRIVATE SKOLER ER RELATIVT STABILT
- A NDELEN SKRIFTLIGE TILSYN HAR ØKT
- O PPSUMMERING OG VURDERING
Figuren under viser utviklingen i antall tilsyn av kommunen som skoleeier, utført av den enkelte etat, i perioden 2014 til 2021. Tabellen under viser hvor stor andel av de private skolene som har vært tilsyn det aktuelle året.
RISIKOVURDERINGER OG TREFFSIKKERHET
I NNLEDNING
S TYRINGSKRAV TIL STATSFORVALTERNE INNEBÆRER AT TILSYN I ØKT GRAD SKAL INNRETTES BASERT PÅ RISIKO
- Utdanningsdirektoratets metodehåndbok gir en rekke føringer for gjennomføring av risikovurderinger
Kontroll er prioritert på områder hvor det er stor sannsynlighet for regelbrudd og hvor det har betydelige konsekvenser for barn, unge og voksne og lærlinger. Metodehåndboken sier at risikovurderinger er en pågående prosess og at dersom man får informasjon som tilsier at det er stor sannsynlighet for regelbrudd i kommunen, er konsekvensene også store.
U TDANNINGSDIREKTORATETS RISIKOVURDERINGER ER STYRENDE FOR FNT OG TILSYN MED PRIVATE SKOLER
- Risikovurderinger som grunnlag for å velge ut tema for felles nasjonale tilsyn
- Risikovurderinger i forbindelse med tilsyn ved private skoler er systematisert i større grad enn før
Utdanningsdirektoratet vet derimot at det er et område det er risiko for, og vil derfor gjerne føre tilsyn med faget. Videre vet de også at det er risiko i de områdene som har vært gjenstand for FNT, basert på funn fra tidligere tilsyn. Utdanningsdirektoratet opplyser i intervju at det har ligget høyere risiko bak.
S TATSFORVALTERNES RISIKOVURDERINGER ER BASERT PÅ EN REKKE ULIKE KILDER
- I hovedsak opplever statsforvalterne ha tilstrekkelig datagrunnlag for å gjøre risikovurderinger på
- Datagrunnlaget oppleves til dels som usikkert når det gjelder risikovurderinger på barnehageområdet
Flere peker på at det er noe usikkerhet rundt hvordan statsadministrasjonen skal forholde seg til kommuner som har lite. Det er indikasjoner på at det er forskjeller i systemet for gjennomføring av risikovurderinger i barnehagesektoren. Mens noen oppgir at de har et godt system og ser få eller ingen utfordringer med risikovurderinger, påpeker andre at det er rom for forbedringer.
U LIKE FORHOLD KAN PÅVIRKE VALG AV TILSYNSTEMA , TILSYNSOBJEKT OG INNRETTING AV TILSYN
Noe tyder på at det er variasjoner mellom embetene når det gjelder hvilke faktorer som har betydning for valg av veiledningstema, veiledningsobjekt og/eller organisering av veiledning på utdanningsfeltet, men vi gjør oppmerksom på at det tidvis er få respondenter pr. kontor. Fra flere kontorer kommenteres det også i intervjuer at det er ønskelig at Utdanningsdirektoratet utarbeider tilsynsmateriell om flere emner. Samtidig vises det at det er en diskusjon om det noen ganger er bedre med et større/videre tema, f.eks.
T ILSYNSOBJEKTENE OPPLEVER IKKE ALLTID AT DET ER FORSTÅELIG HVORFOR DE VELGES UT SOM TILSYNSOBJEKT
Det sies at det er vanskelig å avgjøre debatten om hva som er best, inkludert om vi skal gå «smalt» eller «bredt». Tilsyn utført av Utdanningsdirektoratet viser også at det er en viss variasjon mellom tilsynsobjektene når det gjelder å forstå hvorfor de er valgt ut til tilsyn. Noen påpeker at de mener det er uklart hvorfor de ble valgt ut, mens andre har opplevd det som vilkårlig fordi «alle får tilsyn nå og da».
T REFFSIKKERHETEN HAR ØKT DE SENERE ÅRENE
- Treffsikkerhet i tilsyn gjennomført av Utdanningsdirektoratet
- Treffsikkerhet i tilsyn gjennomført av statsforvalterne
Tabellen ovenfor gir indikasjoner på at tilsyn har blitt mer nøyaktige i form av en reduksjon i andelen tilsyn utført uten brudd. Fra Utdanningsdirektoratet vises det til at brudd på styrets ansvar ikke alltid avdekkes i tilsyn, som er et tema som kun gjelder private skoler. Når det gjelder nøyaktigheten av finanstilsyn, vises det i intervjuer at risikovurderingene er nøyaktige, og at brudd alltid avdekkes i disse tilsynet.
A NDRE VIRKEMIDLER ANSES AV OG TIL SOM MER HENSIKTSMESSIGE ENN TILSYN , OGSÅ NÅR RISIKOEN ER VURDERT SOM HØY
Når det gjelder manglende nøyaktighet i overvåking, er det vist at dette ikke nødvendigvis skyldes dårlige risikovurderinger, men at det også kan skyldes andre faktorer. Utdanningsdirektoratet påpeker at dette trolig er i strid med det som er kommunisert om ønsket om at tilsyn skal være snevrere og mer nøyaktig. Det vises blant annet til at i tilfeller hvor tilsynsobjektet er i en omorganiserings- eller endringsprosess, kan det vurderes at andre virkemidler enn tilsyn er bedre, fordi det ikke alltid er gunstig å føre tilsyn med noe som er opptatt ikke. å endre.
O PPSUMMERING OG VURDERING
Kommunale kapasiteter og ressurser trekkes også frem, med flere som opplyser at det kan være nyttig, spesielt i små kommuner eller hvor arbeidsbelastningen er høy, å utvide bruken av verktøy, blant annet i form av veiledning eller kompetansetiltak. Selv om mange peker på at risikovurderinger styrer valg av tema, tilsynsfag og organisering av tilsyn, er det klare indikasjoner på at andre forhold vektlegges i tillegg til risikovurderinger. Vi merker oss at flere har pekt på at det kan være tilfeller der tilsynsobjektene er «for røde» til at tilsyn er hensiktsmessig som virkemiddel, herunder om tilsynsobjektet er i stand til å bruke veiledning til å forbedre praksis, eller om det ville ellers være et mer hensiktsmessig virkemiddel.
GJENNOMFØRINGEN AV TILSYN
I NNLEDNING
Sentralt i denne forbindelse er blant annet hvordan henholdsvis tilsynsmyndighetene og tilsynsobjektene vurderer bruksverdien av ulike materialer som brukes i forbindelse med tilsyn, og i hvilken grad materialet bidrar til at det gjøres endringer i praksis ved tilsynsobjektene. Videre undersøker vi om tilsynsobjektene opplever at tilsyn motiverer og inspirerer til å se nærmere på egen etterlevelse av reglene, og om dette eventuelt I neste delkapittel ser vi først nærmere på retningslinjer som gir Metodehåndbok for gjennomføring av statlig tilsyn på barnehage- og utdanningsområdet, før vi går nærmere inn på praktisk gjennomføring av tilsyn, og erfaringer med ulike aktiviteter og verktøy.
M ETODEHÅNDBOKEN GIR EN REKKE FØRINGER FOR GJENNOMFØRINGEN AV TILSYN
- Forberedelsesfasen
- Undersøkelsesfasen
- Avslutningsfasen
I tillegg ser det ut til at et forhåndsmøte med kommunen vil kunne være hensiktsmessig, men kun når det synes hensiktsmessig både for kommunen og statsadministratoren. Den angir også hvilke temaer tilsynsrapporten skal inneholde informasjon om og understreker at det er nyttig med en oppsummering i begynnelsen av tilsynsrapporten. Avslutningsmøtet avholdes dersom det er til fordel for kommunen, og i følge Metodehåndboken kan avslutningsmøtet avholdes både under feltbesøket og under det skriftlige besøket.
A LLE FASER I TILSYNSPROSESSEN ANSES SOM VIKTIGE , MEN AVSLUTNINGSFASEN OPPLEVES Å VÆRE SÆRLIG VIKTIG
I undersøkelsen ble representanter for statlige administratorer spurt om hvor viktig de mener de ulike fasene av tilsyn er for å oppnå en læringseffekt for tilsynsobjektet. Hvor viktig tror du de ulike fasene av veiledning er innenfor opplæringsfeltet, inkl. Hvor viktig er etter din mening de ulike trinnene i tilsyn i barnehagen iht
H ANDLINGSROMMET I M ETODEHÅNDBOKEN BENYTTES I STOR GRAD
- Metodehåndboken følges, og gir i hovedsak tilstrekkelig rom for fleksibilitet og tilpasning
- Formøter gjennomføres i varierende grad
- Åpningsmøter vektlegges av mange som en viktig arena for dialog
- Sluttmøter fremheves som viktige, men tilbys i varierende grad
- Det innhentes i liten grad systematiske tilbakemeldinger fra tilsynsobjektene
Andre etater viser til at det ikke er vanlig å gi veiledning om temaet tilsyn før tilsyn. Enkelte styrere og styreledere ved privatskoler påpeker at det kunne vært mer dialog med Utdanningsdirektoratet om tilsyn. Ved lokale tilsyn påpeker derimot statlige administratorer i hovedsak at det er vanlig å holde et åpningsmøte.
U NDERSØKELSESMETODENE
Som det fremgår av figurene under, er det imidlertid også enkelte skoleeiere som er litt uenige i at hensiktsmessige metoder benyttes. Disse respondentene ble bedt om å utdype hvordan de mener endringer har skjedd. Noen peker på at det har vært et skifte bort fra å bare være fokus.
A KTIVITETER OG MATERIELL SOM BRUKES I TILSYN
Gjennom undersøkelser ble også veiledede objekter stilt spørsmål om verdien av å bruke ulike materialer og ulike aktiviteter knyttet til tilsyn. Svarene tyder på at førtilsynsrapporten tillegges stor betydning med tanke på læring og forbedring, sammen med dialog med tilsynsmyndigheten om lukking av regelbrudd, sluttinnhenting og førkontrollveiledning. Åpningsmøte (n=122) Intervjuer knyttet til lokalt tilsyn (n=121) Befaring knyttet til lokalt tilsyn (n=121) Sluttmøte (n=121) Foreløpig tilsynsrapport (n=119) Dialog med tilsynsmyndigheten vedr. stenging .
L UKKING AV BRUDD PÅ REGELVERKET UNDERVEIS I TILSYNET
- Lukking av brudd skjer på ulike tidspunkt i tilsynsprosessen
- Tilsyn kan på ulike måter fungere som insentiv for å se nærmere på egen regeletterlevelse
I hvilken grad føler du at tilsynet motiverer eller inspirerer deg til å undersøke din egen etterlevelse av reglene? I fritekst går mange respondenter nærmere inn på hva tilsyn motiverer eller inspirerer til å se nærmere på egen etterlevelse av reglene. Presidentene svarer i betydelig større grad enn eierne av offentlige skoler på at det ikke er noe som bidrar til å svekke motivasjonen eller inspirasjonen til å se nærmere på egen etterlevelse av reglene.
O PPSUMMERING OG VURDERING
Samtidig er det også noen skoleeiere og rektorer som forklarer at motivasjonen for å se nærmere på egen etterlevelse av reglene kommer fra «frykt» fremfor inspirasjon, og at det er risikoen for kritikk som er « motiverende". Tilsynsobjektene ble også spurt om de opplevde at det var forhold (enten knyttet til selve tilsynet, eller andre forhold) som kan bidra til å svekke motivasjonen eller inspirasjonen til skoleeier/skolen eller kommunen som barnehagemyndighet. å se nærmere på egen etterlevelse av reglene. Videre ser vi ingen grunn til at det skal være en annen praksis i Utdanningsdirektoratets tilsyn med private skoler enn i statsadministrasjonenes tilsyn med kommuner.
LÆRING OG EFFEKTER AV TILSYN
I NNLEDNING
Vi undersøker om utviklingen av indikatorene for mobbing er annerledes for skoler der det har vært tilsyn sammenlignet med skoler der det ikke har vært tilsyn. I neste delkapittel går vi først nærmere inn på veiledningsfagenes erfaringer med veiledning, og om og hvordan de veiledningspliktige opplever at veiledning fungerer, før vi så går nærmere inn på forhold som bl.a. hemme læring og varig endring som følge av veiledning.
T ILSYN OPPLEVES I STOR GRAD Å BIDRA TIL LÆRING OG FORBEDRING AV PRAKSIS
I likhet med kommunale barnehagemyndigheter mener også skoleeiere at tilsyn bidrar mye mindre til varig endring på andre områder. Sett i forhold til svarene fra barnehagemyndighetene ser vi at sistnevnte mener tilsyn i større grad enn skoleeiere bidrar til læring. Rektorer selv mener i mindre grad enn skoleeiere at tilsyn bidrar til skolens læring (21 prosent av rektorene svarer at det er slik i svært stor grad, mens 34 prosent svarer at det gjør det. i stor grad).
E NKELTE FAKTORER FREMHEVES SOM SÆRLIG VIKTIGE FOR Å FREMME LÆRING AV TILSYN
- Viktigheten av dialog mellom tilsynsmyndighet og tilsynsobjekt
- Veiledning er viktig for mange av tilsynsobjektene
- Viktigheten av tillit fremheves av mange tilsynsobjekter
- Tilsynsmyndighetens «fremtoning» kan i enkelte tilfeller føre til frykt og mistillit
- Tilsynet må oppleves som relevant
- Flere fremhever «timingen» som viktig
- Tilsynsmyndighetens kompetanse og forståelse for sektoren har ifølge tilsynsobjektene stor betydning
- Ulike rammebetingelser kan påvirke graden av læring og endring
- Tilsynsobjektets holdning til tilsyn kan ha stor betydning for hvordan tilsyn «virker»
Samtidig legger vedkommende til at vellykket veiledning krever at det også er vilje til å lære og utvikle seg i veiledningsfaget. Flere viser også til at dialogen mellom partene må omhandle bakgrunnen for åpning av overvåking. Samtidig påpekes det at det er behov for å «samle troppene litt», og få en felles tilnærming til hele prosessen.
T ILSYN OG VEILEDNING – HELT ATSKILT ELLER HÅND I HÅND ?
- Veiledning og tilsyn kombineres i ulik grad
- Tilsynsobjektene etterspør i noen tilfeller bruk av andre virkemidler i forbindelse med tilsyn
- Veiledning oppleves å ha størst læringseffekt, men også tilsyn har stor verdi
Når det gjelder barnehageområdet svarer alle respondentene fra to av kontorene at veiledning enten brukes i svært stor grad eller i stor grad sammen med tilsyn. I et tredje kontor svarer derimot 34 prosent av de spurte at veiledning enten brukes i svært liten grad eller i liten grad sammen med veiledning.88 Det er også store variasjoner i svarfordelingen på utdanningsområdet. , hvor mellom 17 og 90 prosent svarer mye eller i høy grad, og mellom null og 33 prosent som svarer at veiledning ikke brukes sammen med veiledning. Veiledning er kombinert med tilsyn på en hensiktsmessig måte (N=147) Tilsynsmyndigheten kunne med fordel ha brukt veiledning mer aktivt i forbindelse med tilsyn (N=147).
T ILSYN KAN SYNES Å HA EN VISS EFFEKT PÅ ANDELEN ELEVER SOM OPPGIR AT DE MOBBES
I den forbindelse vises det også til at det er dårlig kvalitet og manglende overholdelse av reglene «der ute», og dette gjør det viktig med en kontrollfunksjon i form av tilsyn. Det er også flere som påpeker at tilsyn fremtvinger fokus på området det igangsettes tilsyn for, og selv om det er arbeidskrevende og noen ganger kan oppleves som «forstyrrende», har det også en betydelig merverdi, gjøres det klart. Det er med andre ord mulig å se noen svake koblinger mellom veiledning og utvikling i andelen elever som melder seg mobbet, men koblingene er usikre og kan være tilfeldige.
O PPSUMMERING OG VURDERING
Samtidig er det, som nevnt ovenfor, sterke indikasjoner på at det er individuelle forskjeller mellom veiledningsteamene, noe som til dels kan handle om varierende vektlegging av blant annet dialog, kompetanse og hvordan man skal tilnærme seg veiledningsobjektet. Her ser vi blant annet at det er viktig å skille mellom veiledning i betydningen råd og veiledning i betydningen informasjon om regelverk eller mer generell dialog. Samtidig er det vår vurdering at det er indikasjoner på at det at begrepet får ulikt innhold ikke forklarer hele forskjellen når det gjelder ulike vurderinger eller veiledning kan og bør være en del av tilsyn.
KONKLUSJON OG ANBEFALINGER
Derfor mener vi som et ledd i Utdanningsdirektoratets og statsadministrasjonens forbedringsarbeid om tilsyn at det bør etableres systemer for evaluering av tilsynsarbeidet og det individuelle tilsyn som utføres, hvor innhenting av tilbakemeldinger fra tilsynsobjektene er sentralt. . sentralt. Som et ledd i det videre arbeidet med å legge til rette for læring og endring som følger av veiledning, mener vi det er viktig å avklare om veiledning kan og bør være en del av veiledningen, for å sikre en enhetlig tilnærming til dette temaet, som er viktig for mange. tilsynsobjekter. Det bør sikres at det som ledd i det kontinuerlige forbedringsarbeidet etableres systemer for evaluering av tilsynsarbeidet og det enkelte tilsyn som utføres, herunder ved systematisk å etterspørre og bruke tilbakemeldinger fra objektene under tilsyn.
FIGURER OG TABELLER
Åpningsmøte (n=146) Intervjuer i forbindelse med lokalbefaring (n=146) Befaring i forbindelse med lokalbefaring (n=146) Avslutningsmøte (n=145) Foreløpig befaringsrapport (n=147) Dialog med veileder ifm. med. I svært stor grad I stor grad I noen grad I liten grad I svært liten grad I hvilken grad har gjenoppretting av regelverksbrudd skjedd under tilsynsprosessen. I svært stor grad I stor grad I noen grad I liten grad I svært liten grad Vet ikke I hvilken grad var korrigering av regelverksbrudd under tilsynsprosessen en direkte konsekvens.
