Fragebögen

Der Begriffe „Evaluation“ hat je nach Kontext unterschiedliche Bedeutungen. Unter einer empirisch-wissenschaftlichen Evaluation wird das methodisch kontrollierte Sammeln und Verwerten von Informationen verstanden, welche zur Bewertung herangezogen werden (vgl.

Kromrey 2005, S.3-5). In Abgrenzung zur Alltagsevaluation wird die Datenerhebung durch systematische objektivierende Verfahren durchgeführt, wobei dazu aus der gesamten Bandbreite der sozialwissenschaftlichen Forschungsmethoden gewählt werden kann (vgl.

Stockmann 2004[2000], S.14). Wir sehen die Methodenanwendung unserer Masterarbeit der Evaluationsforschung zugeordnet, welche als interdisziplinärer Forschungsbereich quer zu den klassischen Disziplinen verortet ist. Als Grundlage unserer Arbeit wurde anhand von Literaturrecherche die Rolle der Digitalisierung in der Verwaltung beleuchtet und Handlungsfelder sowie digitale Kompetenzen ermittelt. Um, für die Evaluation benötigte Daten zu erhalten, haben wir uns klassischer Erhebungsverfahren bedient.

Es gibt verschiedene Ansätze der Evaluationsforschung (Beyl 2006; Lüders 2006;

Kardorff 2006; Stockmann 2004[2000]), welche aber alle als Gemeinsamkeit aufweisen, dass eine Bewertung vorgenommen wird (vgl. Flick 2006, S.14). Unser Ziel ist es, einen Gegenstand, das Curriculum des Studiengangs Public Management, zu bewerten. Wir gehen der Frage nach, inwieweit dieses Studium AbsolventInnen, zu einem großen Teil Führungskräfte der öffentlichen Verwaltung, auf das Thema Digitalisierung vorbereitet.

Chelimsky unterscheidet drei Evaluationsparadigmen um das unüberschaubare Spektrum an Evaluationen zu reduzieren (vgl. Kromrey 2005, S.33). Das Forschungsparadigma zur Verbreiterung der Wissensbasis, das Kontrollparadigma als Beitrag zur Planungsrationalität durch Erfolgskontrolle und das Entwicklungsparadigma um Konzepte und Vorstellungen zu entwickeln (vgl. Chelimsky und Shadish 1997, S.100-103). Stockmann beschreibt weiters drei Phasen eines zu evaluierenden Prozesses und daraus resultierend drei Analyseperspektiven (vgl. Stockmann 2004[2000], S.15). Die erste Phase ist die Programmentwicklung, welche die materiellen, personellen, institutionellen, finanziellen und theoretischen Rahmenbedingungen untersucht und ex-ante sowie prozessorientiert und konstruktiv durchgeführt wird, um negative Effekte frühzeitig zu erkennen bzw. Maßnahmen abschätzen zu können (vgl. ebd., S.16). Die zweite Phase wird on-going durchgeführt und ist die Implementationsphase, welche auch als Begleitforschung bzw. formative Evaluation bezeichnet wird, da sie Informationen über den Programmverlauf und Entscheidungshilfen für Steuerung sowie Durchführung sammelt (vgl. ebd., S.16). Als dritte Phase kommt die Wirkungsphase zum Einsatz, welche ex-post als summative Evaluation betrieben wird und vorrangig möglichst umfassend die Effekte des evaluierenden Programmes aufdeckt, sowie die Zusammenhänge erfasst (vgl. ebd., S.16). In der Evaluation des aktuellen Curriculums des Studiengangs Public Management, mit dem Ziel den Status der Thematik Digitalisierung zu bewerten und herauszufinden, ob die zukünftigen Führungskräfte der öffentlichen Verwaltung mit der Digitalisierung Schritt halten können, befinden wir uns in der Begleitforschung, welche on-going durchgeführt wird. Diese formative Evaluation soll durch Sammeln von Informationen des Programmes eine frühzeitige Korrekturmöglichkeit schaffen.

Generell können Evaluationen vier Funktionen zugeschrieben werden, welche nicht exakt voneinander zu trennen sind (vgl. ebd., S.17). Bevor ein Forschungsdesign entwickelt und eine Methode gewählt werden kann muss klar sein, welche Funktion die Evaluation vordergründig erfüllen soll (vgl. ebd., S.17-19):

 Erkenntnisfunktion: Daten und Informationen werden gesammelt um für Entscheidungen herangezogen zu werden.

 Kontrollfunktion: Durch Beobachtung werden Defizite in der Aufgabenerfüllung erkannt um gegenzusteuern.

 Dialog-/Lernfunktion: Informationen zum Dialog werden zur Verfügung gestellt um über die Zusammenarbeit zu bilanzieren.

 Legitimierungsfunktion: Daten bieten die Möglichkeit zur Prüfung von Input, Output und Wirkung um die Effizienz eines Programmes zu belegen.

Im Vordergrund unserer Arbeit steht die Erkenntnisfunktion nach Stockmann, bei der durch die Sammlung von Daten und Erkenntnissen bestimmte weitere Entscheidungen untermauert werden können (vgl. ebd., S.18; vgl. Flick 2006, S.14). Durch Anwendung dieses Verfahrens kann festgestellt werden, ob die Maßnahmen die Zielgruppe erreichen, welche Anforderungen die Adressatengruppe stellt, die Akzeptanz des Programmes, Veränderungen der Rahmenbedingungen, Umsetzung der Anwendung in Bezug auf Effizienz und Effektivität etc. (vgl. Stockmann 2004[2000], S.18).

Kromrey beschreibt noch zusätzlich vier Aspekte der Evaluation (vgl. Kromrey 2001, S.107). Er verdeutlicht, dass zuerst ein verbindlich, nachvollziehbares und dokumentiertes Evaluationsdesign obligatorisch ist, um die Unsicherheit eines Misserfolges des Evaluationsprozesses zu beseitigen (vgl. ebd., S.107). Die vier Aspekte benennt er als Gegenstand, EvaluatorIn, Kriterien und Verfahren, welche präzisiert werden und für alle Beteiligten im Evaluationsprozess Gültigkeit haben (vgl. ebd., S.107-110). Für unsere

Evaluation bedienen wir uns diesem Evaluationsdesign, welches im Kapitel 8.2 entwickelt, beschrieben und korrekt angewendet wurde, um die Nachvollziehbarkeit und Überprüfbarkeit zu gewährleisten. Die eingehaltenen Evaluationsstandards umfassen sowohl wissenschaftliche Gütekriterien (z.B. beschreibt der Genauigkeitsstandart Fragen der Objektivität, Reliabilität und Validität von Erhebungsinstrumenten), als auch forschungsethische Richtlinien (z.B. behandelt das Fairnesskriterium Aspekte der Anonymität und des Datenschutzes).

Während Lüders und Kromrey die Evaluation als eigenen Forschungstyp beschreiben (vgl. Kromrey 2007, S.19; Lüders 2006, S.34), nennen Kardorff und Stockmann die Evaluationsforschung als Feld der angewandten Sozialforschung (vgl. Kardorff 2006, S.65;

Stockmann 2004[2000], S.14). Kromrey verdeutlicht, dass man das „Evaluieren“ und das

„Forschen“ klar trennen sollte (vgl. Kromrey 2007, S.19). Im Gegenzug zur Evaluation, welche das Ziel hat einen Gegenstand oder einen Sachverhalt zu bewerten (vgl. ebd., S.11), werden in der Forschung mithilfe empirischer Instrumente Daten erhoben, aufbereitet und bewertet (vgl. ebd., S.20). In Bezug auf diese Arbeit sehen wir die Evaluation als empirisch- wissenschaftliches Verfahren, welches sich den Elementen der klassischen Grundlagenforschung bedient. Eine Evaluation erfordert ausgeprägtes Wissen über den Prozess des Erhebens und des Bewertens von Daten und gleichzeitig auch Fachwissen über den jeweiligen Bereich des zu evaluierenden Themas.

Der Begriff Evaluation wird, abhängig vom Kontext unterschiedlich verwendet (vgl.

Kromrey 2004, S.233). Einerseits bedeutet Evaluation bewerten bzw. Bewertung, andererseits wird der Begriff für ein nachprüfbares Verfahren des Bewertens verwendet.

Evaluation definiert ebenso das Resultat eines Evaluationsprozesses (vgl. Kromrey 2001, S.105). Doch irrelevant in welcher Begriffsbedeutung von Evaluation gesprochen wird, ist die Aussage über einen Gegenstand bzw. Sachverhalt gemeint (vgl. Kromrey 2007, S.11). Wenn aber für eine Evaluation zur Bewertung empirisch gestützte Daten herangezogen werden um Werturteile zu treffen, betont Kromrey, dass normative Aussagen laut herrschender Meinung in der Methodologie empirisch nicht begründbar sind (vgl. ebd., S.11).

Hingegen sieht Stockmann und Meyer die Evaluationsforschung als Feld der angewandten Sozialforschung (vgl. Stockmann und Meyer 2010, S.10). In den 30er und 40er Jahren wurden Reformprogramme in der USA durch Evaluationsstudien begleitet (vgl.

Stockmann 2004[2000], S.23). Erst in den 1960er Jahren, mit dem Aufkommen von politischen Reformprogrammen entwickelte sich auch in Europa die Evaluationsforschung (vgl. ebd., S.25). Die Bandbreite der Anwendungsfelder für Evaluationen ist erheblich und es gibt kaum einen Bereich öffentlicher Dienstleistungen, der nicht mit einer systematischen Evaluation verbunden ist (vgl. Flick 2006, S.11). Ende der 70er Jahre wurden in den USA Standards zur Qualitätssicherstellung von Evaluationen vom Joint Committee on Standards for Educational Programs, Projects and Materials publiziert (vgl. Widmer 2004, S.91). Die Standards basieren auf der Grundannahme, dass eine Evaluation gleichzeitig durchführbar, nützlich, genau und korrekt sein muss. Sie fanden erst in den späten 90er Jahren im deutschen Sprachraum Beachtung (vgl. ebd., S.93). Die Deutsche Gesellschaft für Evaluation publizierte im Jahr 2001 eigene Standards, welche sich am Joint Committee orientierten und als Nützlichkeits-, Durchführbarkeits-, Fairness- und Genauigkeitsstandards definiert wurden (vgl. Stockmann und Meyer 2010, S.182). Stockmann und Meyer verdeutlichen, dass Evaluation nicht nur ein Teil der empirischen Sozialforschung, sondern auch ein Tätigkeitsfeld, welches stark von der Politik beeinflusst wird, ist (vgl. ebd., S.10-11).

Weiters definieren sie die Evaluation als Auftragsforschung (vgl. ebd., S.11), in der die GeldgeberInnen bzw. AuftraggeberInnen das Evaluationsvorhaben ausschreiben und nach

bestimmten Kriterien vergeben (vgl. ebd., S.57). Insofern ist Wissenschaftlichkeit nicht immer das vorrangigste Ziel (vgl. Kromrey 2007, S.12). Die Definition und Präzisierung ihrer Fragestellung richtet sich demnach an außerwissenschaftlichen Erkenntnisinteressen und Verwertungskontexten aus (vgl. ebd., S.12-13).

Stockmann und Meyer schreiben, dass in Hinblick auf die Auswahl des Untersuchungsgegenstandes kein Unterschied zwischen Grundlagen- und Evaluationsforschung besteht (vgl. Stockmann und Meyer 2010, S.58). Kromrey zeigt aber auf, dass auch hier das Werturteilsproblem nicht gelöst werden kann (vgl. Kromrey 2007, S.14). Denn der Gegenstand, den es zu bewerten gilt, nicht wertneutral oder zweckfrei sein kann (vgl. ebd., S.14). In Bezug auf Programmevaluationen weist er darauf hin, dass ein Programm etwas erreichen soll und sich somit am Wertproblem stößt (vgl. ebd., S.14).

Stockmann und Meyer sehen ebenfalls ein Problem, wenn Programme Gegenstand von Evaluationen werden. Sie verweisen aber lediglich auf unklare Definitionen bzw.

schwammige Formulierungen der Ziele oder nicht-beabsichtigter Effekte bei zielorientierten Programmevaluationen (vgl. Stockmann und Meyer 2010, S.69). Als Alternative schlagen sie eine wirkungsorientierte Programmevaluation vor, welche hypothesengeleitet ist (vgl. ebd., S.69). Kromrey meint dazu, dass hier der Bewertungsprozess auf einen Vergleich der vom Programm gesetzten Zielerreichungskriterien mit den gemessenen Effekten im Wirkungsfeld des Programmes reduziert wird (vgl. Kromrey 2007, S.15). Um das Wertproblem zu umgehen, werden die Programmziele zu einer normativen Basis und die eigentliche Evaluation bekommt einen deskriptiven, also wertneutralen, Charakter (vgl. ebd., S.15).

Somit kann nur in Hinblick auf ein ausgearbeitetes Programm und unter Anwendung des Hempel und Oppenheim Erklärungsschemas (Hempel und Oppenheim 1948) eine auf Wertfreiheit verpflichtende Wissenschaft ohne daran Anstoß zu nehmen auf die Evaluationsforschung angewendet werden (vgl. ebd., S.13-14). Stockmann und Meyer sehen aber keine Verletzung der Wertneutralität in der vorgenommenen Bewertung, da sich diese auf im Entstehungskontext festgelegten Kriterien beziehen (vgl. Stockmann und Meyer 2010, S.87).

Weiters wird von Kromrey die Bewertung von Maßnahmen im Zuge von Betroffenenbefragungen in Frage gestellt (vgl. Kromrey 2007, S.17). Stockmann und Meyer erörtern dazu partizipative Evaluationsansätze und beziehen sich vorrangig auf politische Programme, welche von benachteiligten Gruppen als Betroffene bewertet werden sollen (vgl.

Stockmann und Meyer 2010, S.139). Sie erklären, dass in den verschiedenen Konzepten des Empowerment zwar die menschliche Komponente berücksichtigt wird, aber Gefahr einer fehlenden Repräsentativität besteht und ein Mangel an Einhaltung der Gütekriterien, wie Objektivität oder Validität, vorherrschen (vgl. ebd., S.139-142). Kromrey verdeutlicht die Problematik der Qualität und des Werturteiles. Einerseits werden die NutzerInnen bzw. das Klientel der zu evaluierenden Leistungen zu Betroffenen und können aus eigener Erfahrung die Qualität zuverlässig als ExpertInnen beurteilen (vgl. Kromrey 2007, S.17). Daraus ergibt sich, dass die Forschung selbst neutral ist, da sie nur erhebt, systematisiert und analysiert, während die ExpertInnen die Bewertung selbst vornehmen (vgl. ebd., S.18). Somit wird auch die Werturteilsproblematik umgangen (vgl. ebd., S.18). Andererseits ist Qualität kein intersubjektiv gültiges Konzept und die Betroffenen werden weder nach gleichen Kriterien und Standards bewerten, noch kann ohne systematischer Verzerrung gemessen werden, da Qualität der subjektiven Wahrnehmung der Betroffenen unterliegt (vgl. ebd., S.19). Nichts desto trotz sehen Stockmann und Meyer in den partizipativen Ansätzen eine enorme Bereicherung in der Evaluationsforschung (vgl. Stockmann und Meyer 2010, S.142).

Kromrey betont das Wertproblem der Evaluationsforschung und sieht die klare Trennung von Evaluation und Forschung als angemessen (vgl. Kromrey 2007, S.20). In seinem Fazit erklärt er explizit:

„Die Funktion des Evaluierens sowie der Ableitung möglicher Konsequenzen für das Evaluationsobjekt sollte dagegen einem dafür explizit legitimierten Gremium zugewiesen werden […] und die Forschung beratend mitwirken“ (ebd., S.20).

Stockmann und Meyer verweisen zwar auf die Wertproblematik in manchen Konzepten, wie dem Empowerment, aber erklären die Evaluationsforschung als Feld der empirischen Sozialforschung. Sie heben hervor, dass Evaluationsergebnisse stets bewertende Urteile sind und nur aufgrund der Offenlegung der verwendeten Kriterien eine Nachvollziehbarkeit der vorgenommenen Beurteilungen gegeben ist (vgl. Stockmann und Meyer 2010, S.17).

Kromreys aufgezeigte Problematik des urteilfreien Bewertens ist nachvollziehbar und er zeigt dies sehr deutlich in mehreren Beispielen auf. Dennoch sind wir der Meinung, dass Evaluationen Standards unterliegen. Nur durch vorher determinierte Kriterien können Nachvollziehbarkeit und Qualität eingehalten werden. Kromrey beschreibt den Mangel an einer durchgängigen Methodologie für Evaluationen und verweist zu diesem Punkt auf Überlegungen Lüders (2006). Dieser definiert Evaluation als einen Spezialfall und sieht die Evaluationsforschung nicht im wertneutralen Verfahren empirischer Forschung (vgl. Kromrey 2007, S.19). Kuckartz et al. beschäftigen sich ebenso mit der Thematik und zeigen einen durchgängigen Evaluationsvorgang in sieben Schritten auf (vgl. Kuckartz et al. 2008[2007]).

Diese werden im Detail beschreiben, wie auch der qualitative Vorgang von Interviews zur Evaluation. Die Transkribierung erfolgt nach vordefinierten Regeln und es wird jedes einzelne Interview von jedem/er EvaluatorIn durchgelesen und Themenbereiche werden beschrieben (vgl. ebd., S.27-35). Anhand eines Kategoriesystems werden die herausgefilterten Textpassagen den Codes zugeordnet und zusammengefasst (vgl. ebd., S.36-42). Für unsere Masterarbeit bedienen wir uns seines skizzierten Bewertungsprozesses und verdichten die Ergebnisse zu einem Evaluationsbericht.

Auch wenn wir Stockmann und Meyers Ausführungen zu Betroffenenevaluierungen, welche selbst als ExpertInnen beurteilen bzw. bewerten sollen (vgl. Stockmann und Meyer 2010, S.142), recht geben, sehen wir doch die Problematik der Verzerrung und des Qualitätsverlustes, welche Kromrey aufzeigt (vgl. Kromrey 2007, S.19). Er sieht die klare Trennung von Forschung und Evaluation, welche er nur einem legitimierten Gremium überlassen möchte (vgl. Kromrey 2007, S.20). Es stellt sich jedoch die Frage, wer als legitimiertes Gremium angesehen wird. Seit Jahren beschäftigen sich ExpertInnen mit Evaluationen, der Fragestellung der Wissenschaftlichkeit und der Erstellung von Konzepten (Stockmann und Meyer 2010; Kuckartz et al. 2008[2007]; Kromrey 2007; Beyl 2006;

Bohnsack 2006; Lüders 2006; Kardorff 2006; Flick 2006; Stockmann 2004[2000]; Widmer 2004) wobei die Wertproblematik noch nicht ausreichend geklärt ist.

8.2.1 Was wird evaluiert?

Der Evaluationsgegenstand beschreibt das Programm, die Maßnahmen etc. welche evaluiert werden (vgl. Kromrey 2001, S.107). Dazu wird abgeklärt, ob sich der Evaluationsgegenstand noch in der Realisierung befindet, oder bereits besteht (vgl. ebd., S.108). Zur Klärung bedarf es auf jeden Fall der Struktur des Programmes, die Eingrenzung des Evaluationszweckes, die NutzerInnen und die Ziele der Evaluation selbst (vgl. ebd., S.108). Zu beachten ist dabei, dass im Gegensatz zur Grundlagenforschung bei der empirischen Evaluation nur für Entscheidungshandeln relevante Befunde geliefert werden sollen. Ergebnisse, die für eine Entscheidung irrelevant sind, bedeuten eine Verschwendung von Ressourcen (vgl. Kromrey 2005, S.17). Im Vorfeld abzuklären ist hier ebenso welche Ziele die Evaluation verfolgt, bzw. wer das Ergebnis nutzt und welchen Informationsbedarf NutzerInnen haben (vgl. ebd., S.17). Dieses empirische Wissen wird durch das spezielle Erkenntnis- und Verwertungsinteresse zur Evaluation (vgl. ebd., S.4).

In unserer Arbeit ist der Evaluationsgegenstand das aktuelle Bachelor- und Mastercurriculum des Studiengangs Public Management an der FH Campus Wien. Der Studiengang selbst wurde im Jahr 2008 gestartet. Das aktuelle Bachelorcurriculum wurde mit dem Wintersemester 2016 und das Mastercurriculum mit dem Wintersemester 2017 umgesetzt. Beide Curricula bestehen aus sieben Qualifikationszielen, welche weiters in Module unterteilt sind. Wir haben uns dabei auf die Lehrveranstaltungen, welche das Thema Digitalisierung explizit oder implizit zum Inhalt haben, fokussiert. Das Ziel der Arbeit ist es herauszufinden, inwieweit die zukünftigen Führungskräfte der öffentlichen Verwaltung auf das Thema Digitalisierung vorbereitet sind bzw. werden. Die Evaluation soll darstellen, ob Ausbildung und Bedarf deckungsgleich sind. Diese Bewertung erfüllt vordergründig Stockmanns (2004[2000]) Erkenntnisfunktion, indem Daten und Informationen gesammelt werden, um für Entscheidungen herangezogen zu werden.

8.2.2 Wer evaluiert?

Um Behinderungen durch Misstrauen zwischen den EvaluatorInnen, oder geringes Verständnis zwischen den Beteiligten zu beseitigen, werden die Personen, die als EvaluatorInnen wirken festgelegt (vgl. Kromrey 2001, S.109). Dies können unabhängige WissenschaftlerInnen, AuftragsforscherInnen aber auch Betroffene selbst sein (vgl. ebd., S.109). Zusätzlich werden die Rollen im Evaluationsprozess geregelt und Aufgaben der Informationsbeschaffung sowie -aufbereitung und Bewertung bestimmt (vgl. ebd., S.109).

Die vorliegende Evaluation wird von uns beiden, Studentinnen des Studiengangs Public Management, im Rahmen der Masterarbeit durchgeführt. Wir studieren an der FH Campus Wien Public Management im zehnten Semester. Das Thema haben wir selbst ausgewählt, wobei mehrere optionale Forschungsthemen von der Studiengangsleitung angeboten wurden. Für die Informationsbeschaffung sind wir beide gleichermaßen berechtigt. Die Datenaufbereitung wird gemeinsam stattfinden, die Auswertung erfolgt getrennt voneinander.

Elisabeth Wildam wird sich für die Interviews mit den Vortragenden verantwortlich zeichnen und Elisabeth Reich für die Fragebogenerhebung der Studierenden des Studiums Public Management. Nachdem beide Autorinnen eine Auswertung vorgenommen haben, wird im Zuge einer Kontrolle das Datenmaterial der jeweils anderen erneut bewertet. Dabei werden Unstimmigkeiten diskutiert und bereinigt.

8.2.3 Nach welchen Kriterien wird evaluiert?

Aussagen und Bewertungen dürfen in einer Evaluation nicht intuitiv entstehen, sondern müssen nachvollziehbar, überprüfbar und kritisierbar sein (vgl. ebd., S.109). Dafür eignen sich die Standards des „Committee“, welche vorgeben, dass Evaluation gleichzeitig durchführbar, nützlich, genau und korrekt sein muss (vgl. Widmer 2004, S.93-95).

Dazu wird nicht nur ein Evaluationsdesign erarbeitet, sondern das gesamte methodische Vorgehen beschrieben, korrekt angewendet und alle Schritte dokumentiert. Die Standards des “Joint Committee” sind in dieser Masterarbeit in einem Kapitel über Evaluationsforschung herausgearbeitet und im Zuge der Evaluation angewendet. Die Nachvollziehbarkeit und Überprüfbarkeit sind somit gegeben.

8.2.4 Wie wird evaluiert?

Die empirische Sozialforschung liefert die Basis zur Entwicklung eines Methodendesigns (vgl. Kromrey 2001, S.110). Die richtige Methodenauswahl steht in Beziehung mit dem Aspekt des Gegenstandes, da z.B. ein in der Entwicklung befindliches Sozialprojekt einer anderen Methode bedarf als die Überprüfung eines Gesetzes (vgl. ebd., S.110).

Der Einsatz der gewählten Methoden innerhalb der Evaluation ist von großer Relevanz.

Hierfür werden von den Autorinnen unterschiedliche Konzepte und Umsetzungsmöglichkeiten vorgegeben. Während Flick und Stockmann als Herausgeber Konzepte von unterschiedlichen Verfasserinnen präsentieren, stellt Kuckartz et al. Schritt für Schritt eine komplette Evaluation vor (vgl. Kuckartz et al. 2008[2007]; Flick 2006; Stockmann 2004[2000]). Stockmanns Darstellung ausgewählter Felder der Evaluationsforschung findet sich im Kontext von politischen Programmen und Qualitätsentwicklung wieder (vgl.

Stockmann 2004[2000], S.205-411). Diese Forschungsfelder werden übersichtlich beschrieben und die Ergebnisse der Evaluation erläutert (vgl. ebd., S.205-411). Flick bezieht sich zusätzlich auf Erfahrungen sowie Schwierigkeiten, die bei der Umsetzung von Evaluationen auftreten können, wie z.B. die Finanzierung eines solchen Vorhabens (vgl.

Flick 2006, S.267-339). Weiters beschreibt er in einem Kapitel die Führung von Interviews in der qualitativen Evaluationsforschung. Es wird keine explizite Anleitung vorgegeben, sondern verschiedene Interviewmethoden vorgestellt und sich mit diesen kritisch auseinandergesetzt (vgl. ebd., S.214-231). Wie Kromrey verdeutlicht er, dass es an einer durchgängigen Methode für Evaluationen fehlt (vgl. Kromrey 2007, S.19) und das Vorgehen bei Evaluationen transparenter und nachvollziehbarer werden muss (vgl. Flick 2006, S.231).

Beide Autoren geben uns einen guten Einblick in das Feld der Evaluationsforschung, bieten aber keine genaue Evaluationsanleitung. Die Vermischung von Methoden aus der empirischen Forschung mit Methoden der Evaluationen birgt auch Risiken, denn diese können nicht eins zu eins auf Bewertungen aufgesetzt werden. Flick nennt einige Beispiele wo es zu Korrelationen kommt (vgl. ebd., S.217). Ganz anders zeigt Kuckartz et al. anhand einer qualitativen Evaluation einen „Fahrplan“ auf und geht explizit auf den Aspekt der qualitativen Interviews ein (vgl. Kuckartz et al. 2008[2007], S. 77-88). Es handelt sich hierbei um eine Zusammenfassung, Erklärung und Interpretation, für welche ein Rahmen aufgestellt wird.

Im Zuge unserer Arbeit haben wir uns eines Methodenmix bedient. Zu Beginn wurden anhand einer Literaturrecherche die Handlungsfelder und Kompetenzen der Digitalisierung herausgearbeitet, welche wir im Kapitel 7. „Handlungsbedarf im Zuge der Digitalisierung“,

darstellten. Zusätzlich führten wir explorative Expertengespräche um diese abzustimmen und damit in Bezug stehende relevante Lehrveranstaltungen des aktuellen Bachelor- und Mastercurriculums zu filtern. Nachdem ein Interviewleitfaden entwickelt wurde, welcher die Fragen der Wertigkeit von Digitalisierung in den jeweiligen Lehrveranstaltungen, der Vermittlung von Kompetenzen und Anpassung von Lehrinhalten und Lehrzielen beantworten sollte, wurden die Interviews mit den Vortragende der Lehrveranstaltungen, welche Digitalisierung explizit oder implizit zum Inhalt haben, durchgeführt. Mittels des gewonnenen Datenmaterials, welches nach Kuckartz et al. 2008[2007] ausgewertet wurde, wurde eine Bewertung der Curricula vorgenommen und festgestellt, welche Wertigkeit Digitalisierung in der Ausbildung hat. Zusätzlich erarbeiteten wir einen Fragebogen, welcher an Studierende dieses Studiums versendet wurde. Darin erhoben wir den Kompetenzerwerb und Bedarf aus der Praxis, um abzuklären ob diese deckungsgleich sind. Schlussendlich wurde geklärt inwieweit das Studium Public Management zukünftige Führungskräfte der öffentlichen Verwaltung auf das Thema Digitalisierung vorbereitet und in einem Evaluationsbericht festgehalten.

Lehrveranstaltungen 2.Semester SWS ECTS

Ethik und Compliance 1 3

Allgemeines Verwaltungsverfahrensrecht 1 2

Allgemeines Verwaltungsverfahrensrecht 2 3

Grundlagen des wissenschaftlichen Arbeitens 2 3

Privatrecht 1 2

Privatrecht 2 2

Öffentliches Haushaltswesen 3 6

Grundlagen der Öffentlichen Betriebswirtschaftslehre 1 2 Grundlagen der Öffentlichen Betriebswirtschaftslehre 1 1

Organisationslehre 2 3

E-Government und Wissensmanagement 2 3

Lehrveranstaltungen 3.Semester SWS ECTS

Einführung in die Wirkungsorientierung, -steuerung und -kontrolle 2 4 Wahlpflichtmodul: Grundlagen zur WO und Steuerung i.d. Anwendung 2 4

Wahlpflichtmodul 2 2

Wahlpflichtmodul 2 2

Communicating in English in the contemporary public administration 2 2

Wissenschaftliche Methoden 2 3

Öffentliches, Wirtschafts- und Gesellschaftsrecht 1 3

Grundlagen in Rechnungswesen, Buchhaltung und Budgetierung 1 3 Grundlagen in Rechnungswesen, Buchhaltung und Budgetierung 2 3

Organisationssteuerung und Qualitätsmanagement 2 4

Lehrveranstaltungen 4.Semester SWS ECTS

Instrumente der Wirkungsorientierung, -steuerung und -kontrolle 2 4

Theorie und Konzepte von Public Value 2 3

Rolle der Sozialpartnerschaft in der Gesellschaft 1 1

Wahlpflichtmodul 2 4

Wahlpflichtmodul 2 3

Communicating in English in the contemporary public administration 2 2 2

Wissenschaftliche Methoden 2 1 1

Arbeits- und Dienstrecht 2 4

Investitionen, externe Effekte und Finanzierung 2 4

Förderungen, Auflagen und Vergaben 2 4

Lehrveranstaltungen 5.Semester SWS ECTS

Prozessmanagement 2 2

Projektmanagement 2 2