You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
motief/reports/overton_window/mechanism_validation.md

22 KiB

Mechanism Classification Validation Report

Part of the Overton Window Analysis. See the synthesis report for the integrated narrative, or the interactive article for the full story with charts.

1. Inter-Rater Reliability

  • Motions compared: 200
  • Agreements: 101 / 200
  • Agreement rate: 50.5%
  • Cohen's kappa (κ): 0.4082
    • P_o (observed): 0.5050
    • P_e (expected): 0.1636

Interpretation: Moderate agreement

The mechanism taxonomy needs revision. The inter-rater agreement is below 0.6, suggesting the 10-mechanism framework is not being applied consistently across raters. Consider:

  • Simplifying or merging ambiguous mechanism pairs
  • Adding clearer decision rules for borderline cases
  • Reducing the number of mechanisms

2. Second Classifier Summary

  • Model: qwen/qwen-2.5-72b-instruct
  • Motions classified: 200
  • Average confidence: 4.1/5

Confidence Distribution

Confidence Count
1 0
2 0
3 5
4 165
5 30

3. Disagreement Table

Total disagreements: 99 / 200 (49.5%)

Motion ID Title Original Second Confidence Resolved Winner
313 Motie van het lid Inge van Dijk over de vooringevulde aangifte tijdelijk loslate Procedureel/technisch Systeemontmanteling 4 Systeemontmanteling second
473 Motie van het lid Eerdmans c.s. over de schade van de UvA-rellen alsnog verhalen Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
651 Gewijzigde motie van het lid Grinwis c.s. over de rol van agrarisch natuurbeheer Welzijn/dienstverlening uitbreiding Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
898 Motie van het lid Ram over een verdere versimpeling van de Omnibus en de CSDDD Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
974 Motie van het lid Mooiman over het effect van opgestelde "Whole Life Carbon"-eis Procedureel/technisch Symbolisch/declaratoir 4 Symbolisch/declaratoir second
1005 Motie van het lid Kamminga over de EU-opbrengsten van importheffingen inzetten t Consensus framing (gedeeld belang) Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
1191 Motie van het lid Veltman over veiligheid meer prioriteit geven in de uitvoering Consensus framing (gedeeld belang) Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
1359 Motie van de leden Eerdmans en Van der Plas over met de vuurwerkbranche een rami Procedureel/technisch Gerichte restrictie 4 Gerichte restrictie second
1491 Motie van het lid Boomsma c.s. over een verkenning naar een maximumaantal wolven Gerichte restrictie Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
1495 Gewijzigde motie van het lid Diederik van Dijk c.s. over een meer risicogerichte Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
1507 Motie van het lid De Vos over empirische natuurgegevens als juridisch houdbaar a Systeemontmanteling Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
1572 Motie van de leden Van Campen en Eerdmans over de impact van wolfaanvallen in ka Lokaal/regionaal Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
1705 Motie van het lid Dekker over voorstellen ter vermindering van de regeldruk Consensus framing (gedeeld belang) Gerichte restrictie 4 Gerichte restrictie second
1831 Motie van het lid Van der Plas over het voorzorgsbeginsel zo toepassen dat het p Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
2014 Motie van het lid Van Zanten over in asielzaken uitsluitend beroep bij één insta Systeemontmanteling Gerichte restrictie 4 Gerichte restrictie second
2168 Amendement van de leden Eerdmans en Diederik van Dijk ter vervanging van nr. 7 o Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
2170 Amendement van de leden Diederik van Dijk en Eerdmans ter vervanging van nr. 4 o Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
2264 Motie van het lid Van der Hoeff over alle kosten van vernielingen gepleegd tijde Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
2496 Motie van het lid Vermeer over een lanceercapaciteit voor satellieten op het gro Procedureel/technisch Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
2662 Motie van de leden Bikker en Diederik van Dijk over voorkomen dat Nederlandse ke Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
2878 Motie van het lid Inge van Dijk c.s. over een voorstel voor het inpassen van de Welzijn/dienstverlening uitbreiding Procedureel/technisch 4 Procedureel/technisch second
3298 Motie van het lid Diederik van Dijk c.s. over zich scharen achter het vredesplan Symbolisch/declaratoir Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
3354 Amendement van het lid Michon-Derkzen over het verhogen van het strafmaximum van Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
3468 Motie van de leden Yesilgöz-Zegerius en Bikker over zo snel mogelijk overgaan to Institutioneel/rechtsstatelijk Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
3472 Gewijzigde motie van de leden Van der Plas en Yesilgöz-Zegerius over wetgeving v Institutioneel/rechtsstatelijk Gerichte restrictie 5 Gerichte restrictie second
3569 Gewijzigde motie van de leden Wijen-Nass en Diederik van Dijk over inventarisere Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
3629 Motie van het lid Ceder over een conferentie over modernisering van het VN-Vluch Symbolisch/declaratoir Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
3678 Motie van het lid Wilders over de invoer van een totale asielstop alsmede een st Systeemontmanteling Gerichte restrictie 5 Gerichte restrictie second
3687 Motie van de leden Van der Plas en Yesilgöz-Zegerius over het initiatief van de Gerichte restrictie Institutioneel/rechtsstatelijk 5 Institutioneel/rechtsstatelijk second
3760 Motie van het lid Peter de Groot c.s. over de Wet op de defensiegereedheid na on Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
3784 Motie van de leden Wendel en Van Brenk over informatiedeling over zorgfraude mog Procedureel/technisch Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
3830 Motie van het lid Van Meetelen over stoppen met betuttelend beleid gericht op vo Systeemontmanteling Gerichte restrictie 4 Gerichte restrictie second
3877 Gewijzigde motie van de leden Ceder en Diederik van Dijk over signalen en inzet Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4080 Motie van het lid Coenradie over een onderzoek naar zwaardere, dwingende vormen Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4221 Motie van het lid Van der Plas over een duidelijke overheadnorm opstellen voor d Systeemontmanteling Procedureel/technisch 4 Procedureel/technisch second
4227 Motie van het lid Peter de Groot over de oeververbinding bij de sluis van Nijker Consensus framing (gedeeld belang) Lokaal/regionaal 4 Lokaal/regionaal second
4309 Motie van het lid Coenradie over gerichter doelgroepenbeleid bij handhaving Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4394 Motie van het lid Van der Plas over het luchtdrukwapen met zogenaamde beanbags o Institutioneel/rechtsstatelijk Procedureel/technisch 3 Institutioneel/rechtsstatelijk original
4436 Motie van het lid Diederik van Dijk c.s. over in overleg met het OM in een aanwi Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4481 Motie van het lid Ceder c.s. over het verwerven van control points expliciet ond Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
4489 Motie van het lid Van der Plas over een onderzoek naar de invloed van verstoring Procedureel/technisch Gerichte restrictie 4 Gerichte restrictie second
4656 Motie van het lid Dekker over niet akkoord gaan met toetreding van Oekraïne tot Symbolisch/declaratoir Gerichte restrictie 4 Gerichte restrictie second
4660 Motie van het lid Diederik van Dijk over verkennen of en hoe verdere samenwerkin Consensus framing (gedeeld belang) Coalitie-afstemming 4 Coalitie-afstemming second
4933 Wijziging van de Omgevingswet en enkele andere wetten met het oog op het bescher Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
9149 Motie van het lid Valstar c.s. over steun voor bewapening van de MQ-9 Reaper Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
9769 Motie van het lid Vondeling over er alles aan doen om Syriërs huiswaarts te late Gerichte restrictie Welzijn/dienstverlening uitbreiding 3 Gerichte restrictie original
9789 Motie van het lid Diederik van Dijk c.s. over de Tijdelijke wet bestuurlijke maa Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
10110 Amendement van het lid Bontenbal c.s. over dekking van het maatregelenpakket voo Coalitie-afstemming Procedureel/technisch 5 Procedureel/technisch second
10167 Amendement van het lid Flach over € 2 miljoen voor pilotprojecten voor de aanpak Lokaal/regionaal Procedureel/technisch 4 Procedureel/technisch second
10278 Amendement van het lid Bontenbal c.s. over dekking van het maatregelenpakket voo Coalitie-afstemming Procedureel/technisch 4 Procedureel/technisch second
10290 Motie van het lid Eerdmans over ten minste één concreet migratieproject uitwerke Gerichte restrictie Procedureel/technisch 4 Procedureel/technisch second
10413 Motie van het lid Diederik van Dijk c.s. over de maximale juridische ruimte opzo Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
10420 Motie van het lid Van der Wal c.s. over het vergroten van de weerbaarheid van Ne Crisisrespons Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
10597 Motie van het lid Eerdmans over middels een AMvB de derde waarnemer bij preventi Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
11382 Gewijzigd amendement van het lid Van der Molen t.v.v. nr. 21 over het schrappen Procedureel/technisch Systeemontmanteling 4 Systeemontmanteling second
14554 Motie van het lid Schonis over een kwartiermaker toeristische samenwerking Procedureel/technisch Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
15005 Motie van het lid Aartsen over een periodiek overlegorgaan voor franchisegevers Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
15772 Motie van het lid De Jong over pensioenkortingen voorkomen Systeemontmanteling Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
16430 Motie van het lid Tony van Dijck over geen 45 miljard euro overmaken naar Zuid- Symbolisch/declaratoir Gerichte restrictie 4 Gerichte restrictie second
16691 Motie van het lid Geurts over het doorbreken van de vicieuze cirkel rond de toen Procedureel/technisch Crisisrespons 4 Crisisrespons second
16999 Motie van de leden Van Haga en Baudet over het tegengaan van verdere oneerlijke Consensus framing (gedeeld belang) Gerichte restrictie 4 Gerichte restrictie second
17036 Motie van het lid Kerstens over onderzoeken of Defensie in aanmerking komt voor Welzijn/dienstverlening uitbreiding Crisisrespons 4 Crisisrespons second
17536 Motie van het lid Yesilgöz-Zegerius over in heel het Schengengebied haatprediker Institutioneel/rechtsstatelijk Gerichte restrictie 5 Gerichte restrictie second
17681 Motie van de leden Van Haga en Baudet over een plan van aanpak om de fiscaliteit Consensus framing (gedeeld belang) Systeemontmanteling 4 Systeemontmanteling second
17751 Gewijzigde motie van de leden Stoffer en Van Haga over een nullijn voor de ontwi Consensus framing (gedeeld belang) Symbolisch/declaratoir 4 Symbolisch/declaratoir second
18030 Motie van het lid Stoffer over zo snel mogelijk de snelwegverlichting 's nachts Procedureel/technisch Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
18062 Motie van het lid Krol over excuses voor de fouten die leidden tot slachtoffers Crisisrespons Symbolisch/declaratoir 5 Symbolisch/declaratoir second
18691 Motie van het lid Karabulut over geen extra troepen naar Afghanistan Symbolisch/declaratoir Gerichte restrictie 4 Gerichte restrictie second
20215 Gewijzigde motie van het lid Boswijk c.s. over onderzoeken hoe hoogwaardige land Welzijn/dienstverlening uitbreiding Institutioneel/rechtsstatelijk 3 Welzijn/dienstverlening uitbreiding original
21801 Motie van het lid Van Haga c.s. over de Defensievisie 2035 omarmen Consensus framing (gedeeld belang) Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
21982 Motie van het lid Graus c.s. over het zwartboek regeldruk van MKB-Nederland ter Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
22280 Motie van het lid Van der Plas over de kosten berekenen die op het bord van de b Lokaal/regionaal Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
22676 Motie van het lid Diederik van Dijk c.s. over een grootschalig en breedgedragen Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
22853 Motie van het lid Peter de Groot over nog voor het zomerreces additionele maatre Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
23013 Amendement van het lid Diederik van Dijk over budget voor de uitvoering van het Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
23030 Motie van het lid Eerdmans over in het verdeelbesluit geen asielopvangplekken op Gerichte restrictie Lokaal/regionaal 4 Lokaal/regionaal second
23141 Motie van het lid Eerdmans over de mogelijkheid tot inzet van de KMar actief ond Institutioneel/rechtsstatelijk Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
23206 Motie van het lid Nordkamp c.s. over het in kaart brengen van het aandeel van in Procedureel/technisch Gerichte restrictie 4 Gerichte restrictie second
23287 Motie van het lid Helder c.s. over het wetsvoorstel inzake het taakstrafverbod b Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
23301 Motie van de leden Tuinman en Boswijk over het onderzoeken van voorstellen met b Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
23441 Motie van de leden Van Zanten en Stoffer over een deel van het budget voor kanse Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
23454 Motie van het lid Joseph over een analyse laten maken van de juridische risico's Procedureel/technisch Institutioneel/rechtsstatelijk 5 Institutioneel/rechtsstatelijk second
23885 Motie van het lid Aartsen c.s. over verkennen hoe toetsings- of toezichtkaders a Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
23984 Motie van het lid Pierik over de eisen aan de eco-regeling in de periode 2025-20 Systeemontmanteling Gerichte restrictie 4 Gerichte restrictie second
24008 Motie van het lid Holman c.s. over bij de Europese Commissie bevorderen dat de b Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
24046 Motie van het lid Keijzer c.s. over de minister zich kenbaar laten onthouden van Symbolisch/declaratoir Procedureel/technisch 4 Procedureel/technisch second
24077 Motie van het lid De Roon over een onderzoek instellen naar de rol en verantwoor Symbolisch/declaratoir Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
24358 Motie van de leden Helder en Uitermark over het vergroten van de personeelscapac Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
24632 Motie van de leden Veltman en Vedder over het voor de politie mogelijk maken om Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
24650 Gewijzigd amendement van de leden Dijk en Flach ter vervanging van nr. 13 over e Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
24651 Motie van de leden Inge van Dijk en Van Oostenbruggen over een arbeidsmigratieto Gerichte restrictie Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
25061 Motie van het lid Kisteman c.s. over een vereenvoudiging van de RI&E-verplichtin Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
25062 Motie van het lid Kisteman c.s. over een voor het mkb werkbare wijze van werken Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
25079 Motie van de leden Bontenbal en Flach over de Europese standaarden voor stikstof Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
25451 Motie van het lid Ceder over berekenen hoeveel geld de Palestijnse Autoriteit ja Symbolisch/declaratoir Gerichte restrictie 5 Gerichte restrictie second
25469 Motie van de leden Eerdmans en Diederik van Dijk over samen met gelijkgestemde E Gerichte restrictie Coalitie-afstemming 4 Coalitie-afstemming second
25616 Motie van het lid Eerdmans over de wettelijke taakstellingen voor gemeenten voor Gerichte restrictie Systeemontmanteling 4 Systeemontmanteling second
25982 Gewijzigde motie van het lid Bisschop c.s. over een koude sanering van de garnal Lokaal/regionaal Procedureel/technisch 3 Lokaal/regionaal original
27731 Amendement van het lid Eppink over dekking voor het schrappen van een wijziging Systeemontmanteling Procedureel/technisch 4 Procedureel/technisch second

4. Mechanism Distribution Comparison

Mechanism Original Count Second Count Validated Count
Consensus framing (gedeeld belang) 31 11 11
Institutioneel/rechtsstatelijk 28 22 22
Welzijn/dienstverlening uitbreiding 9 17 17
Procedureel/technisch 46 56 54
Lokaal/regionaal 6 4 5
Coalitie-afstemming 2 2 2
Symbolisch/declaratoir 12 7 7
Gerichte restrictie 41 60 61
Systeemontmanteling 17 13 13
Crisisrespons 8 8 8

5. Confusion Matrix (Top Rows)

Original \ Second Consensus framing / Institutional / rule Welfare / service ex Procedural / technic Local / regional con Coalition alignment Symbolic / declarato Targeted restriction System dismantling Crisis response
Consensus framing / 6 5 3 11 1 1 1 2 1 0
Institutional / rule 0 6 2 6 0 0 0 14 0 0
Welfare / service ex 0 2 5 1 0 0 0 0 0 1
Procedural / technic 2 5 2 30 0 0 1 3 2 1
Local / regional con 0 0 2 2 2 0 0 0 0 0
Coalition alignment 0 0 0 2 0 0 0 0 0 0
Symbolic / declarato 1 2 0 1 0 0 4 4 0 0
Targeted restriction 2 1 1 1 1 1 0 33 1 0
System dismantling 0 1 1 2 0 0 0 4 9 0
Crisis response 0 0 1 0 0 0 1 0 0 6

6. Conclusion

Cohen's kappa of 0.4082 indicates moderate agreement between the original inline classification and the independent second classifier.

Key findings:

  • 101 out of 200 motions agreed (50.5%)
  • 99 disagreements resolved: 4 kept original, 95 adopted second

Most common disagreement pairs:

  • institutional_rule_of_law / targeted_restriction: 14 times
  • consensus_framing / procedural_technical: 11 times
  • institutional_rule_of_law / procedural_technical: 6 times
  • procedural_technical / institutional_rule_of_law: 5 times
  • consensus_framing / institutional_rule_of_law: 5 times

Revised mechanism taxonomy recommendation:

  • Taxonomy needs revision to improve inter-rater reliability.
  • Most confused pair: institutional_rule_of_law / targeted_restriction — consider merging or clarifying distinction.