Es wird ein diskretes Ereignissimulationsmodell entwickelt, um ein System zur Leistungsbeurteilung im Zwangsvertrieb darzustellen, das die Struktur, die Systemdynamik und das menschliche Verhalten im Zusammenhang mit solchen Systemen berücksichtigt. Ziel dieser Studie ist es, menschliches Verhalten zu analysieren und eine Methode zur Modellvalidierung zu erforschen, die die Rolle des Dienstalters von Untergebenen im Bewertungsprozess erfasst. Diese Studie umfasst Simulationsexperimente, die Black-Box-Funktionen, die menschliches Verhalten darstellen, auf Simulationsergebnisse abbilden. Die Effektivität jeder Verhaltensfunktion basiert auf einer multizentrischen Antwortfunktion, die eine Summe der quadratischen Fehlerfunktion ist, die den Unterschied zwischen den Modellausgaben und den historischen Daten misst. Die Ergebnisse der Experimente zeigen den Nutzen der Anwendung von Simulationsoptimierungstechniken in der Modellvalidierungsphase der Simulationssystementwicklung.
Die US-Armee hat eine Reihe von Techniken eingesetzt, um die Zahl der aktiven Soldaten von über 566.000 im Jahr 2010 auf unter 470.000 im Jahr 2016 zu senken. Zu diesen Techniken gehörten unfreiwillige Trennungen, Vorruhestandsregelungen, verringerte Neuzugänge, verringerte Möglichkeiten der Wiederverpflichtung und verringerte Beförderungsquoten. Im Mittelpunkt all dieserMechanismen zur Streitkräftegestaltung stand - mit Ausnahme des Rückgangs der Neuzugänge - die Analyse der Leistungsbeurteilungen.
Leistungsbeurteilungen sind in den Offiziersrängen aufgrund des Defense Officer Personnel Management Act von 1980 (DOPMA) von großer Bedeutung. Dieses Gesetz, das am 12. Dezember 1980 vom Kongress verabschiedet wurde, schreibt die Anzahl der Offiziere in Abhängigkeit von der Gesamtpersonalstärke des Heeres vor, vor allem aber kodifiziert es dasUp-or-Out-Beförderungssystem(Rostker et al. 1993). DasAufwärts- oder Abwärts-Beförderungssystemwurde so konzipiert, dass Offiziere von Beförderungsausschüssen beurteilt werden und, falls sie ausgewählt werden, die Ränge in Kohorten durchlaufen, die im Allgemeinen durch die Dienstjahre als Offizier bestimmt werden. Darüber hinaus wird jeder Offizier, der zweimal für eine Beförderung übergangen wird, gezwungen, den Dienst zu verlassen. Die einzige Ausnahme vom Trennungsgebot ist eine Bestimmung, die eineselektive Weiterbeschäftigungausgewählter Offiziere zulässt, von der jedoch nur sparsam Gebrauch gemacht werden soll. DasAufwärts- oder Abwärts-Beförderungssystemerleichtert die in Abbildung 1 dargestellte Dienstgradstruktur, die auch im DOPMA festgelegt wurde.
Einer der Dienstgrade, der am stärksten von der Reduzierung betroffen war, war der Rang des Oberstleutnants, dessen Beförderungsquote von über 91 % im Jahr 2006 auf nur noch 60,2 % im Jahr 2016 sank. Eine Analyse der Ergebnisse der Beförderungsausschüsse zeigt, dass die ermittelten Prozentränge bei den Beurteilungen der beste Indikator dafür sind, ob ein Offizier befördert wurde. Das Leistungsbeurteilungssystem für Offiziere der US-Armee ist ein Zwangsverteilungssystem, das einen relativen Vergleich der Offiziere innerhalb eines Beurteilungspools vorsieht und die Beurteiler dazu zwingt, weniger als 49 % ihrer Untergebenen die beste Beurteilung zu geben (Department of the Army Headquarters 2015). Eine weitere Analyse der Ergebnisse der Beförderungsausschüsse zeigt, dass das Dienstalter eine wichtige Rolle dabei spielt, ob ein Offizier eine Top-Bewertung erhält oder nicht. Die von den Beurteilern verwendete Funktion zum Sortieren und Bewerten der Untergebenen ist jedoch unbekannt (Blackbox) und aufgrund der individuellen Priorisierung des Dienstalters durch die Beurteiler verrauscht.
Für die Zwecke dieses Simulationssystems haben wir Methoden der Personalplanung, Leistungsbeurteilungssysteme, Talentmanagement, Simulationsoptimierung und Modellvalidierung untersucht.
Bartholomew, Forbes und McClean (1991) definierenPersonalplanungals "den Versuch, das Angebot an Menschen mit den für sie verfügbaren Arbeitsplätzen abzustimmen". Wang (2005) unterteilt die in der Personalplanung angewandten Operations-Research-Techniken in vier Bereiche: Optimierungsmodelle, Markov-Kettenmodelle, Computersimulationsmodelle und Supply-Chain-Management durch System Dynamics. Hall (2009) stellt fest, dass die vorhandene Literatur zur Personalplanung drei Hauptthemen zuzuordnen ist: dynamische Programmierung, Markov-Modelle und Zielprogrammierung. Obwohl die Listen weder erschöpfend sind noch sich gegenseitig ausschließen, teilen wir die vorhandenen Techniken in die Kategorien Optimierungs-, Markov- und Simulationsmodelle ein.
Zu den frühen Beispielen für Optimierungsmodelle gehören Modelle der dynamischen Programmierung, die einen Rahmen für die Entscheidungsfindung im Personalwesen bieten (Dailey 1958, Fisher und Morton 1968). Eine neuere Anwendung der dynamischen Programmierung ist die von Özdemir (2013), die eine analytische Hierarchieverarbeitungsordnung für die Personalauswahl bereitstellt. Bres et al. (1980) und Bastian et al. (2015) bieten Zielprogrammierungsmodelle zur Analyse der Offiziersstärke und des Berufsmixes über einen endlichen Zeithorizont. Kinstler et al. (2008) verwenden ein Markov-Modell für das U.S. Navy Nursing Corps, um die optimale Anzahl neuer Rekruten zu bestimmen, um das Problem der Überbesetzung in den unteren Dienstgraden zu lösen, damit die Anforderungen in den höheren Dienstgraden erfüllt werden können. Markov-Modelle können zwar als eigenständige Modelle verwendet werden, sie werden jedoch häufiger in größere Optimierungsmodelle integriert (Hall 2009, Zais 2014). Lesinski et al. (2011) und McGinnis, Kays und Slaten (1994) sind Beispiele für Simulationen, die zur Modellierung von Arbeitskräften eingesetzt werden. Das von Lesinski et al. (2011) entwickelte Simulationskonstrukt wurde verwendet, um festzustellen, ob der Zeitpunkt und die Dauer der Erstausbildung von Offizieren ein neues Bereitschaftsmodell der Armee unterstützt. In ähnlicher Weise analysiert das diskrete Ereignissimulationsmodell von McGinnis, Kays und Slaten (1994) die Durchführbarkeit einer vorgeschlagenen Personalpolitik, die eine Mindestzeit in Schlüsselpositionen vorschreibt. Allen bestehenden Methoden ist gemein, dass sie sich auf die Erfüllung der Anforderungen in aggregierter Form konzentrieren. Das heißt, die Modelle schätzen den Bedarf an Neueinstellungen und Quereinsteigern auf der Grundlage historischer Fluktuation, Beförderungen und prognostiziertem Wachstum. Sehr wenig Aufmerksamkeit wird der Modellierung der Systeme gewidmet, die die am besten qualifizierten Personen identifizieren und auswählen, um den Bedarf zu decken, und nicht der binären Messung, ob eine Stelle besetzt oder unbesetzt ist.
Wardynski, Lyle und Colarusso (2010) definieren das Talent von Offizieren der US-Armee als die Schnittmenge aus individuellem Wissen, Fähigkeiten und Verhalten. Dabkowski et al. (2010) stellen fest, dass die Messung des Talents von Offizieren weitgehend konzeptionell ist, dass aber tatsächliche Messungen nicht notwendig sind, um die Auswirkungen der Politik auf die Talentbindung zu analysieren. In ihrem Modell wird ein normalverteilter Talentscore verwendet, um die Auswirkungen verschiedener Fluktuationsmuster auf das Talent von Führungskräften zu analysieren. Wardynski, Lyle und Colarusso (2010) zeigen, dass Auftragsquellen mit den strengsten Überprüfungsanforderungen leistungsstärkere Offiziere in den oberen Rängen hervorbringen, was die Annahme von Dabkowski et al. (2010) untermauert, dass Talent ein statischer, angeborener Wert ist.
Es ist bekannt, dass Leistungsbeurteilungssysteme mit Verzerrungen und Fehlern behaftet sind. Beispiele für Verzerrungen und Fehler innerhalb von Leistungsbeurteilungssystemen sind schwer zu quantifizieren, umfassen aber Folgendes: Beurteiler bewerten großzügiger (Milde) oder strenger (Strenge), als es die Untergebenen verdienen, Beurteiler bilden positive (Heiligenschein) oder negative (Horn) Meinungen zu einer begrenzten Anzahl von Kriterien, die jüngste Leistung wird stark gewichtet (Aktualität), Beurteiler heben die Bewertung der Untergebenen an, um sich selbst besser aussehen zu lassen (Eigennutz), und die Bewertung der Untergebenen erfolgt eher im Verhältnis zueinander als zu den Leistungsstandards (Kontrast/Ähnlichkeit) (Coens und Jenkins 2000, Carroll und Schneier 1982, Kozlowski, Chao und Morrison 1998). Der Physiker und Mathematiker W. Edwards Deming fügt hinzu, dass das individuelle Leistungsergebnis von der Struktur eines Systems abhängt (Elmuti, Kathawala und Wayland 1992). Die Ergebnisse der Leistungsbeurteilung sind in ähnlicher Weise von der Systemstruktur abhängig. Ungenauigkeit innerhalb eines Leistungsbeurteilungssystems bezieht sich auf das Ausmaß, in dem das Beurteilungsergebnis von der tatsächlichen Verteilung der Leistungsniveaus in einer Gruppe von beurteilten Mitarbeitern abweicht (Carroll und Schneier 1982).
Die Validierung eines Simulationsmodells zum Zweck der Schätzung der Ungenauigkeit in einem Leistungsbeurteilungssystem ist eine nicht triviale Aufgabe. Law (2015) stellt fest, dass "der definitivste Test für die Gültigkeit eines Simulationsmodells darin besteht, festzustellen, dass seine Ausgabedaten den Ausgabedaten, die vom tatsächlichen System zu erwarten wären, sehr ähnlich sind". Es gibt zahlreiche Methoden zur Modellvalidierung. Balci (1998) listet 75 Techniken für die Modellverifizierung, -validierung und -prüfung auf, stellt jedoch fest, dass die meisten Praktiker informelle Techniken verwenden, die sich auf menschliches Denken und Subjektivität stützen.
Kane (2012) stellt fest, dass Bewertungen häufig an die Position und nicht an die Leistung gebunden sind. Dies ist vor allem in Zweigen der Fall, in denen esSchlüsselpositionen für die Entwicklunggibt. Um den Einfluss der Aufgaben der Offiziere auf die zugewiesene Bewertung abzuschwächen, verwenden wir Daten ausschließlich für Funktionsbereichshauptleute mit homogenen Aufgaben. Ein Funktionsbereich ist laut Department of the Army Headquarters (2014) eine "Gruppierung von Offizieren nach technischen Spezialgebieten oder Fähigkeiten, die nicht zu einer Waffengattung, einem Dienstzweig oder einer Truppengattung gehören und in der Regel eine besondere Ausbildung, Schulung und Erfahrung erfordern".
Offiziere erhalten bei jedem Einsatz eine Beurteilung, bei der sie im Vergleich zu ihren Kollegen oder Offizieren desselben Ranges bewertet werden. Abbildung 2 zeigt das typische Flussdiagramm für einen Offizier der U.S. Army. Offiziere treten in das Beurteilungssystem ein und werden einer Gruppe von Gleichrangigen, dem so genanntenRating Pool, zugewiesen. Im Allgemeinen erhält jeder Offizier eine jährliche Beurteilung, die sich auf seine Leistung im Vergleich zu den anderen Offizieren im gleichen Rating Pool stützt. Nach der Beurteilung verbleibt der Beamte entweder in demselben Pool oder er wird einem anderen Pool zugewiesen. Die Versetzung ist in der Regel mit einem Wechsel des Standorts verbunden. Sobald ein Beamter eine bestimmte Zeit im System verbracht hat, im Fall von Abbildung 1 fünf Jahre, scheidet er/sie aus dem System aus. Die Akte des Offiziers wird einem Beförderungsausschuss vorgelegt, der sich aus Generaloffizieren zusammensetzt und der darüber entscheidet, ob der Offizier den nächsthöheren Dienstgrad erhält oder aus dem Militärdienst ausscheiden muss.
Den Beurteilern ist es untersagt, mehr als 49 % der Offiziere in ihrem Pool mit der Bestnote zu bewerten. Der Zweck dieses Mandats zur Zwangsverteilung besteht darin, eine Leistungsdifferenzierung für Personalmanagemententscheidungen zu ermöglichen. Leistungsbeurteilungssysteme mit Zwangsverteilung, die auf eine kleine Anzahl von Mitarbeitern angewandt werden, führen zu einer Fehleinschätzung der Leistung. Mohrman, Resnick-West und Lawler (1989) stellen fest, dass Zwangsverteilungssysteme nur auf eine ausreichend große Gruppe von Personen angewandt werden sollten, insbesondere nicht weniger als 50 Mitarbeiter. Die Binomialverteilung bietet einen gewissen Einblick, wenn man versucht, diese Fehleinschätzung der Leistung zu quantifizieren. Wenn X eine Zufallsvariableist, die die Anzahl der besten 49 % der Bediensteten in einem Bewertungspool vonn Bedienstetenangibt, und die Leistung der Bediensteten unabhängig ist, dannfolgtXderBinomialverteilung(n, 0,49). Fehlbeurteilungen treten auf, wenn die Anzahl der Offiziere, die eine Spitzenbeurteilung verdienen, die Profilbeschränkung übersteigt. Wenn beispielsweisen = 15, ist E[Fehlbeurteilungen] ∑15, x=8 P(X= x)(x -7) = 0,9470.Wennn = 100 ist, ist E[Fehlerkennungen] ∑100, x=50 P(X= x)(x -49) = 1,9893. Wenn also eine Grundgesamtheit von 300 Beamten in 20 Rating-Pools unterteilt wird, würden wir 18,9405 (0,9470 x 20) Fehlerkennungen erwarten. Dieselben 300 Beamten, aufgeteilt in drei Ratingpools, ergeben 5,9680 (1,9893 x 3) erwartete Fehlerkennungen. Weitere Faktoren, die sich auf die Genauigkeit der Bewertungen auswirken, sind die Verteilung der Größe der Ratingpools, die Häufigkeit der Wechsel zwischen den Ratingpools und das menschliche Verhalten innerhalb des Systems. Diese Faktoren, die sich über einen Zeitraum von mehreren Jahren erstrecken, machen den Einsatz von Techniken wie Simulationen erforderlich, um den Fehler zu quantifizieren, der durch ein System zur Bewertung der Leistung einer Zwangsverteilung verursacht wird.
Die Quantifizierung des Verhaltens von Beurteilern bei der Einstufung und Bewertung von Untergebenen erfordert die Anwendung fortgeschrittener Methoden zur Modellvalidierung. Abbildung 3 zeigt, dass Offiziere mit zunehmender Dauer ihres Dienstgrades mit größerer Wahrscheinlichkeit eine Spitzenbewertung erhalten. Abbildung 4 zeigt die Verteilung der Anzahl der Top-Bewertungen, die Majors über einen Zeitraum von fünf Jahren erhalten. Die Simulationsergebnisse, die den in Abbildung 3 und Abbildung 4 dargestellten Verteilungen entsprechen, unterliegen der Bewerterfunktion, die für die Einstufung und Bewertung von Untergebenen innerhalb jedes Bewertungspools verwendet wird, d. h. einer Blackbox-Funktion. Die in Abbildung 3 und Abbildung 4 dargestellten Daten stammen von Majors, die in den Jahren 2015 und 2016 vor Beförderungsausschüssen standen, die eine Beförderungsquote von 60,4 % bzw. 60,2 % aufwiesen. Die Grundlage für den Modellvergleich ist ein Durchschnitt dieser beiden Jahre, da sie sich ähneln und das Modell auf aktuelle Bewertungstrends ausgerichtet ist.
Der Beitrag unserer Studie besteht in der Untersuchung einer Methode zur Schätzung dieser Black-Box-Funktion mittels Simulationsoptimierung. Wir erstellen ein diskretes Ereignissimulationsmodell und modifizieren die Sortierfunktion, die verwendet wird, um menschliches Verhalten zu simulieren, indem wir OptQuest und das Kim-Nelson (KN)-Verfahren, eine vollsequenzielle Simulationsoptimierungsmethode für Ranking und Auswahl, verwenden. Die Parameter mehrerer Funktionen werden evaluiert, um ihre Anpassungsfähigkeit bei der Replikation des Bewerterverhaltens zu bestimmen.
Für die Bewertung des Outputs verwenden wir eine Anpassung der KostenfunktionJ(θ), die Ikonen und Najim (2002) in allgemeiner Form vorgestellt haben:
Die quadratische Kostenfunktion von Gleichung (1) weist den quadratischen Differenzen zwischenK beobachtetenOutputs,y(k), und den Modellvorhersagen, θTϕ(k), αkGewichte zu. Das Ziel ist die Minimierung der KostenfunktionJ inBezug auf die Parameter θgemäß Gleichung (2):
In Abschnitt 4 werden die Herleitung der Kostenfunktion und die Parameter innerhalb des Systems näher erläutert.
Das Simulationsmodell wurde in Simio entwickelt und folgt dem in Abbildung 2 dargestellten Rahmen. Die Beamten treten dem System mit einer einheitlichen Rate bei und erhalten ein AttributQi, das den anfänglichen Leistungsprozentsatz des Beamten darstellt, wobeiQiUniform(0,1) ist. Die Beamten werden nach dem Zufallsprinzip in Bewertungspools eingeteilt. Jährlich werden die Beamten sortiert und erhalten eine Bewertung,Xi jwobei:
Nach jeder Bewertung wechselt der Beamte mit der Wahrscheinlichkeitpden Rating-Pooloderverbleibt mit der Wahrscheinlichkeit 1 -p im gleichen Rating-Pool, wodurch die Systemdynamik simuliert wird, dass Beamte regelmäßig den Rating-Pool wechseln. Die Variation des Werts vonp verändertdie durchschnittliche Zeit, die die Beamten in jedem Pool verbringen. Einp = 0,730 entspricht einer durchschnittlichen Verweildauer von 16,42 Monaten in jeder Position, also der durchschnittlichen Verweildauer von Beamten, die 2015 und 2016 vor Beförderungsausschüssen standen. Nach fünf Jahren des Sammelns von Beurteilungen verlassen die Beamten das System und ihre binäre Leistungsbeurteilungshistorie wird in einer Ausgabedatei aufgezeichnet. Eine verkürzte Simulationsausgabedatei ist in Abbildung 5 dargestellt.
In Anbetracht der Datentrends in Abbildung 3 steigt die Neigung der Bewerter, eine Spitzenbewertung zu vergeben, je höher das Dienstalter der von ihnen bewerteten Beamten ist. Daher wird für die Sortierung der Beamten eine Kombination aus dem anfänglichen Leistungsperzentil in Verbindung mit einer Funktion der Zeit im System verwendet. Wir notieren dies als
Qti, wobei Qti(Qi,t,α),tdie Zeit (Jahre) des Beamten im System und αein geschätzter Parameter ist, der zur Gewichtung der Zeit des Beamten im System verwendet wird. Angesichts des Verhaltens der Bewerter analysieren wir die Anpassungsgüte
für die folgenden ansteigenden Funktionen:
Linear:Qti=Qi+ αt(3)
Exponential:Qti=Qi+ αt(4)
Potenz:Qti=Qi+ tα(5)
Abbildung 5 zeigt die Simulationsausgabe für eine bestimmte Sortierfunktion. Die Analyse jeder Sortierfunktion besteht in ihrer Fähigkeit, die in den Abbildungen 3 und 4 dargestellten tatsächlichen Daten zu replizieren. Bevor die Parameter für jede Sortierfunktion optimiert werden, muss ein angemessener Bereich für α bestimmt werden. Für Gleichung (3),
Ein α= 0 bedeutet, dass die Bestimmung der Rangfolge der Bewerter innerhalb des Bewertungspools ausschließlich auf dem prozentualen Anteil der Leistung des Beamten bei Eintritt in das System basiert und die Zeit im System keine Rolle spielt. Ebenso bedeutet ein α= 0,4, dass die Zeit des Beamten im System mindestens 0,4-mal so wichtig ist wieQi, wennt = 1, und mindestens 2-mal so wichtig wieQi, wennt = 5, um den Rang innerhalb eines bestimmten Ratingpools zu bestimmen. Daher wird bei der Optimierung des Ergebnisses von Gleichung (3) 0< α< 0,4 bewertet.
Die Wirksamkeit von Gleichung (4) kann auch anhand ähnlicher Grenzwerte für α bewertet werden. In Gleichung (4) erzeugt 0< α<1 jedoch eine abnehmende Funktion in Bezug auf die Zeit im System. Darüber hinaus muss die Verweildauer des Beamten im System bei der Bestimmung der Rangfolge innerhalb eines gegebenen Ratingpools für Gleichung (4) beit = 5 mindestens das zweifache Gewicht vonQihaben, d. h. α1,148. Daher begrenzen wir den Bereich von αfür Gleichung (4) auf 1< α<1,148. In ähnlicher Weise begrenzen wir αin Gleichung (5) auf 0< α< 0,431.
Zur Optimierung des Simulationsergebnisses verwenden wir eine Form der von Ikonen und Najim (2002) eingeführten multikriteriellen Antwortfunktion. Das Problem wird wie folgt formuliert:
Die binäre VariableZikin Gleichung (6) wird verwendet, um festzustellen, ob jeder Beamte(i) 0,1, . . .,5 Top-Bewertungen über den Zeitraum von 5 Jahren im System erhalten hat. Gleichung (7) misst die quadratische Differenz zwischen dem Prozentsatz der Beamten aus der Simulation mitk SpitzenbewertungenundAk, wobei die VariableAkder historische Prozentsatz der Beamten ist, diek Spitzenbewertungenerhalten haben. Dieser quadratische Fehler wird für jeden Wert vonkberechnetundin der Gleichung summiert:
Gleichung (7) misst die Anpassungsgüte der Simulationsergebnisse im Vergleich zu den in Abbildung 4 dargestellten Daten. Die Gesamtzahl der besten Bewertungen, die jeder Beamte erhält, ist ein Maß für die Modellgenauigkeit. Ein weiteres Maß für die Genauigkeit ist das Timing der Spitzenbewertungen, die jeder Beamte erhält. Dieser quadratische Fehler wird für jedes Jahrjberechnetundin der Gleichung summiert:
wobeiB jder Prozentsatz der Beamten mit einer Spitzenbewertung im Jahrj ist. Die Gewichte,Wkin Gleichung (7) undWjin Gleichung (8), ermöglichen es uns, die Gewichtung der Unterschiede zwischen den einzelnen Simulationsergebnissen und den tatsächlichen Daten zu kontrollieren. Auf diese Weise lassen sich Unterschiede im relativen Fehler sowie die ungleiche Anzahl von Datenpunkten in Gleichung (7) und Gleichung (8) ausgleichen. Der WertY inGleichung (8) misst die Anpassungsgüte des Simulationsergebnisses im Vergleich zu den in Abbildung 3 dargestellten Daten. Die in Gleichung (7) und (8) angegebenen Effektivitätsmaße können zu einem einzigen gewichteten Leistungsmaß kombiniert werden
Maß,D =T +Y , zusammengefasst werden. Dann besteht das Problem darin, den Wert des Sortierfunktionsparameters αzu finden, der die ZielfunktionD minimiert, d. h. αˆ= arg minD.
α
Zur Schätzung der Parameter der Sortierfunktion verwenden wir die Simulationsoptimierungsroutine OptQuest (April, Glover, and Kelly 2002). Der Benutzer hat die Möglichkeit, die minimale und maximale Anzahl von Wiederholungen für eine bestimmte relative Fehlereinstellung sowie die maximale Anzahl von Szenarien zu ändern. Die Ergebnisse der OptQuest-Routine liefern die Liste der anfänglichen Lösungskandidaten, die von der KN-Methode bewertet werden, einem vollständig sequentiellen Verfahren, das nach jeder Wiederholung statistisch minderwertige Lösungen eliminiert. Wir haben das KN-Verfahren mit einer Indifferenzzone von 0,001 auf die beste Teilmenge der Szenarien aus der OptQuest-Routine angewendet, um die optimale Einstellung für den Parameter αin jeder Sortierfunktion zu bestimmen. Eine detaillierte Diskussion des KN-Verfahrens findet sich in Kim und Nelson (2001). Unter Verwendung des Simio OptQuest Add-Ins dauerte die Ausführung von 50 Szenarien mit jeweils 10 Replikationen zwischen 15 und 16 Minuten auf einem Intel@ Core i5-4300U mit 2,50 GHz und 8,00 GB RAM.
Für die Schätzung der Einzelzielparameter haben wir zwei separate Experimente durchgeführt, um die Parameter für jede Sortierfunktion zu finden, die gelöst wurde:
In Gleichung (8) istBj =[0,368, 0,493, 0,512, 0,582, 0,719], was den prozentualen Anteil der Studiengänge darstellt, die 2015 und 2016 für eine Beförderung in Frage kommen und die in jedem Jahr eine Top-Bewertung im Rang erhalten. Der Parameter αwurde in den Gleichungen (3), (4) und (5) bewertet, und das MinimumY fürjede Sortierfunktion ist in Abbildung 6 dargestellt.
Unter der Voraussetzung, dassWj =[1,1,1,1,1] ist, fasst Tabelle 1 die Leistung jeder Sortierfunktion mit den optimalen Parametereinstellungen zusammen. Jede Sortierfunktion wird in der Spalte "Prozentuale Lücke" in Tabelle 1 mit der besten verglichen.
Tabelle 1: Zusammenfassung des MinimumsY fürjede Sortierfunktion mit α, das durch Simulationsoptimierung bestimmt wurde.
|
Sortierfunktion |
Minimum Y | Prozentuale Lücke |
|
Linear |
0.00674 | 1.81% |
|
Exponential |
0.00662 | - |
|
Leistung |
0.00985 | 48.79% |
Der Parameter αwurde auch in den Gleichungen (3), (4) und (5) bewertet, und das Minimum T für jede Sortierfunktion ist in Abbildung 7 dargestellt. In Gleichung (7) istAk =[0,070, 0,119, 0,231, 0,294, 0,223, 0,064], was den historischen Prozentsatz der Offiziere darstellt, die 2015 und 2016 vor einer Beförderung standen und insgesamt [0, 1,...,5] Top-Bewertungen als Hauptfach erhielten. Unter der Annahme, dassWk=[1,1,1,1,1,1] ist das Minimum T für jede Sortierfunktion und ein Vergleich jeder Sortierfunktion mit der besten in Tabelle 2 dargestellt.
Tabelle 2: Eine Zusammenfassung des minimalenT fürjede Sortierfunktion mit α, das durch Simulationsoptimierung bestimmt wurde.
|
Sortierfunktion |
Minimum T | Prozentsatz Lücke |
|
Linear |
0.0138 | - |
|
Exponential |
0.0275 | 99.27% |
|
Leistung |
0.0175 | 26.81% |
Bei der einfaktoriellen Parameterschätzung wurden zur Bestimmung des Minimumsvon T undY separate Gleichungen für jede Sortierfunktion verwendet. Für die Schätzung der Mehrzielparameter wurde eine gewichtete Summe vonY undT verwendet. Daher ist es notwendig, geeigneteWj undWkfürdie AntwortfunktionD zu bestimmen. Gleichung (8) summiert den quadratischen Fehler zwischen sechs Simulationsausgaben und historischen Daten, während Gleichung (7) den quadratischen Fehler zwischen fünf Datenpunkten und historischen Daten summiert. Daher setzen wir zunächst jede Komponente vonWkauf5/6, um die Ausgaben vonT undY gleich zugewichten. Schließlich wird der relative Fehler in Wk berücksichtigt. Der Mittelwert der in Gleichung (7) verwendeten Antworten beträgt 0,535, was dem durchschnittlichen Prozentsatz der Studiengänge entspricht, die in einem bestimmten Jahr eine Spitzenbewertung erhalten. Der Mittelwert der Antworten, die in Gleichung (8) verwendet werden, beträgt 0,167 und stellt den durchschnittlichen Prozentsatz der Studiengänge dar, die jede der sechs Möglichkeiten für eine Gesamtzahl von Spitzenbewertungen erhalten. Wir kompensieren den Unterschied in den Größenordnungen, indem wir den AusgangswertWkmit3,21 (0,535/0,167) multiplizieren, und jede Komponente des VektorsWkist2,675 (3,21 5/6). Daher verwenden wir bei der Auswertung vonDWj =[1,1,1,1,1] undWk=[2,675,2,675,2,675,2,675,2,675,2,675,2,675]. Abbildung 8 zeigt, dass die Minimierung vonDnicht zur Minimierung vonY oderT führt.
Die Wirksamkeit unseres gewichteten Mehrzielansatzes wird in den beiden Diagrammen in Abbildung 9 veranschaulicht. Die mit "No Time Factor" beschriftete Linie stellt ein statisches Leistungsniveau ohne zusätzlichen Zeitfaktor dar, was zuD = 0,864 führt. Der in Abbildung 8gezeigteKompromiss zwischenT undYführt zu einer geringeren prozentualen Verbesserung gegenüber den in den Tabellen 1 und 2 zusammengefassten Antworten der einfaktoriellen Parameterschätzung. Tabelle 3 zeigt den Wert von D unter Verwendung der optimalen Parametereinstellungen für jede der drei Sortierfunktionen.
Tabelle 3: Eine Zusammenfassung des minimalenD fürjede Sortierfunktion mit α, das durch Simulationsoptimierung bestimmt wurde.
Die Sortierfunktionen, die in den zuvor beschriebenen Experimenten evaluiert wurden, stellen eine Steigerung des wahrgenommenen Leistungsniveaus in Abhängigkeit von der Zeit dar. Dabei kann es sich um eine tatsächliche Leistungsverbesserung handeln, um die Tendenz des Bewerters, das höhere Leistungsniveau zu belohnen, oder um eine Kombination aus beidem. Bei den ausgewerteten Funktionen handelt es sich nicht um eine erschöpfende Liste von Möglichkeiten, sondern um eine leicht zu interpretierende Menge mit klaren Ober- und Untergrenzen für den Parameter α, die die Auswirkungen des Dienstalters im Bewertungsprozess aufzeigen. Das Ziel der Modellausgabe bestimmt die am besten geeignete Sortierfunktion: eine exponentielle Sortierfunktion zur Minimierung vonY , eine lineare Sortierfunktion zur Minimierung vonT oder eine Potenzsortierfunktion zur Minimierung vonD. Zukünftige Forschungsarbeiten werden die Verwendung von Polynomen höherer Ordnung untersuchen, um das menschliche Verhalten in dem Modell besser abzubilden. Die Quantifizierung der Auswirkung des Dienstalters im Beurteilungsprozess wird Personalfachleuten dabei helfen, zu bestimmen, inwieweit die Leistungsbeurteilungen das tatsächliche Leistungsniveau der Beamten im Vergleich zu ihren Kollegen widerspiegeln.
Diese Untersuchung wurde teilweise von der Omar Nelson Bradley Foundation finanziert. Die in diesem Artikel geäußerten Ansichten sind die der Autoren und spiegeln nicht unbedingt die offizielle Politik oder Position des United States Army Human Resources Command, des Heeresministeriums, des Verteidigungsministeriums oder der US-Regierung wider.