You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
motief/reports/overton_window/mechanism_validation.md

22 KiB

Mechanism Classification Validation Report

1. Inter-Rater Reliability

  • Motions compared: 200
  • Agreements: 101 / 200
  • Agreement rate: 50.5%
  • Cohen's kappa (κ): 0.4082
    • P_o (observed): 0.5050
    • P_e (expected): 0.1636

Interpretation: Moderate agreement

The mechanism taxonomy needs revision. The inter-rater agreement is below 0.6, suggesting the 10-mechanism framework is not being applied consistently across raters. Consider:

  • Simplifying or merging ambiguous mechanism pairs
  • Adding clearer decision rules for borderline cases
  • Reducing the number of mechanisms

2. Second Classifier Summary

  • Model: qwen/qwen-2.5-72b-instruct
  • Motions classified: 200
  • Average confidence: 4.1/5

Confidence Distribution

Confidence Count
1 0
2 0
3 5
4 165
5 30

3. Disagreement Table

Total disagreements: 99 / 200 (49.5%)

Motion ID Title Original Second Confidence Resolved Winner
313 Motie van het lid Inge van Dijk over de vooringevulde aangifte tijdelijk loslate Procedureel/technisch Systeemontmanteling 4 Systeemontmanteling second
473 Motie van het lid Eerdmans c.s. over de schade van de UvA-rellen alsnog verhalen Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
651 Gewijzigde motie van het lid Grinwis c.s. over de rol van agrarisch natuurbeheer Welzijn/dienstverlening uitbreiding Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
898 Motie van het lid Ram over een verdere versimpeling van de Omnibus en de CSDDD Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
974 Motie van het lid Mooiman over het effect van opgestelde "Whole Life Carbon"-eis Procedureel/technisch Symbolisch/declaratoir 4 Symbolisch/declaratoir second
1005 Motie van het lid Kamminga over de EU-opbrengsten van importheffingen inzetten t Consensus framing (gedeeld belang) Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
1191 Motie van het lid Veltman over veiligheid meer prioriteit geven in de uitvoering Consensus framing (gedeeld belang) Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
1359 Motie van de leden Eerdmans en Van der Plas over met de vuurwerkbranche een rami Procedureel/technisch Gerichte restrictie 4 Gerichte restrictie second
1491 Motie van het lid Boomsma c.s. over een verkenning naar een maximumaantal wolven Gerichte restrictie Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
1495 Gewijzigde motie van het lid Diederik van Dijk c.s. over een meer risicogerichte Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
1507 Motie van het lid De Vos over empirische natuurgegevens als juridisch houdbaar a Systeemontmanteling Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
1572 Motie van de leden Van Campen en Eerdmans over de impact van wolfaanvallen in ka Lokaal/regionaal Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
1705 Motie van het lid Dekker over voorstellen ter vermindering van de regeldruk Consensus framing (gedeeld belang) Gerichte restrictie 4 Gerichte restrictie second
1831 Motie van het lid Van der Plas over het voorzorgsbeginsel zo toepassen dat het p Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
2014 Motie van het lid Van Zanten over in asielzaken uitsluitend beroep bij één insta Systeemontmanteling Gerichte restrictie 4 Gerichte restrictie second
2168 Amendement van de leden Eerdmans en Diederik van Dijk ter vervanging van nr. 7 o Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
2170 Amendement van de leden Diederik van Dijk en Eerdmans ter vervanging van nr. 4 o Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
2264 Motie van het lid Van der Hoeff over alle kosten van vernielingen gepleegd tijde Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
2496 Motie van het lid Vermeer over een lanceercapaciteit voor satellieten op het gro Procedureel/technisch Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
2662 Motie van de leden Bikker en Diederik van Dijk over voorkomen dat Nederlandse ke Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
2878 Motie van het lid Inge van Dijk c.s. over een voorstel voor het inpassen van de Welzijn/dienstverlening uitbreiding Procedureel/technisch 4 Procedureel/technisch second
3298 Motie van het lid Diederik van Dijk c.s. over zich scharen achter het vredesplan Symbolisch/declaratoir Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
3354 Amendement van het lid Michon-Derkzen over het verhogen van het strafmaximum van Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
3468 Motie van de leden Yesilgöz-Zegerius en Bikker over zo snel mogelijk overgaan to Institutioneel/rechtsstatelijk Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
3472 Gewijzigde motie van de leden Van der Plas en Yesilgöz-Zegerius over wetgeving v Institutioneel/rechtsstatelijk Gerichte restrictie 5 Gerichte restrictie second
3569 Gewijzigde motie van de leden Wijen-Nass en Diederik van Dijk over inventarisere Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
3629 Motie van het lid Ceder over een conferentie over modernisering van het VN-Vluch Symbolisch/declaratoir Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
3678 Motie van het lid Wilders over de invoer van een totale asielstop alsmede een st Systeemontmanteling Gerichte restrictie 5 Gerichte restrictie second
3687 Motie van de leden Van der Plas en Yesilgöz-Zegerius over het initiatief van de Gerichte restrictie Institutioneel/rechtsstatelijk 5 Institutioneel/rechtsstatelijk second
3760 Motie van het lid Peter de Groot c.s. over de Wet op de defensiegereedheid na on Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
3784 Motie van de leden Wendel en Van Brenk over informatiedeling over zorgfraude mog Procedureel/technisch Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
3830 Motie van het lid Van Meetelen over stoppen met betuttelend beleid gericht op vo Systeemontmanteling Gerichte restrictie 4 Gerichte restrictie second
3877 Gewijzigde motie van de leden Ceder en Diederik van Dijk over signalen en inzet Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4080 Motie van het lid Coenradie over een onderzoek naar zwaardere, dwingende vormen Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4221 Motie van het lid Van der Plas over een duidelijke overheadnorm opstellen voor d Systeemontmanteling Procedureel/technisch 4 Procedureel/technisch second
4227 Motie van het lid Peter de Groot over de oeververbinding bij de sluis van Nijker Consensus framing (gedeeld belang) Lokaal/regionaal 4 Lokaal/regionaal second
4309 Motie van het lid Coenradie over gerichter doelgroepenbeleid bij handhaving Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4394 Motie van het lid Van der Plas over het luchtdrukwapen met zogenaamde beanbags o Institutioneel/rechtsstatelijk Procedureel/technisch 3 Institutioneel/rechtsstatelijk original
4436 Motie van het lid Diederik van Dijk c.s. over in overleg met het OM in een aanwi Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
4481 Motie van het lid Ceder c.s. over het verwerven van control points expliciet ond Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
4489 Motie van het lid Van der Plas over een onderzoek naar de invloed van verstoring Procedureel/technisch Gerichte restrictie 4 Gerichte restrictie second
4656 Motie van het lid Dekker over niet akkoord gaan met toetreding van Oekraïne tot Symbolisch/declaratoir Gerichte restrictie 4 Gerichte restrictie second
4660 Motie van het lid Diederik van Dijk over verkennen of en hoe verdere samenwerkin Consensus framing (gedeeld belang) Coalitie-afstemming 4 Coalitie-afstemming second
4933 Wijziging van de Omgevingswet en enkele andere wetten met het oog op het bescher Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
9149 Motie van het lid Valstar c.s. over steun voor bewapening van de MQ-9 Reaper Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
9769 Motie van het lid Vondeling over er alles aan doen om Syriërs huiswaarts te late Gerichte restrictie Welzijn/dienstverlening uitbreiding 3 Gerichte restrictie original
9789 Motie van het lid Diederik van Dijk c.s. over de Tijdelijke wet bestuurlijke maa Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
10110 Amendement van het lid Bontenbal c.s. over dekking van het maatregelenpakket voo Coalitie-afstemming Procedureel/technisch 5 Procedureel/technisch second
10167 Amendement van het lid Flach over € 2 miljoen voor pilotprojecten voor de aanpak Lokaal/regionaal Procedureel/technisch 4 Procedureel/technisch second
10278 Amendement van het lid Bontenbal c.s. over dekking van het maatregelenpakket voo Coalitie-afstemming Procedureel/technisch 4 Procedureel/technisch second
10290 Motie van het lid Eerdmans over ten minste één concreet migratieproject uitwerke Gerichte restrictie Procedureel/technisch 4 Procedureel/technisch second
10413 Motie van het lid Diederik van Dijk c.s. over de maximale juridische ruimte opzo Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
10420 Motie van het lid Van der Wal c.s. over het vergroten van de weerbaarheid van Ne Crisisrespons Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
10597 Motie van het lid Eerdmans over middels een AMvB de derde waarnemer bij preventi Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
11382 Gewijzigd amendement van het lid Van der Molen t.v.v. nr. 21 over het schrappen Procedureel/technisch Systeemontmanteling 4 Systeemontmanteling second
14554 Motie van het lid Schonis over een kwartiermaker toeristische samenwerking Procedureel/technisch Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
15005 Motie van het lid Aartsen over een periodiek overlegorgaan voor franchisegevers Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
15772 Motie van het lid De Jong over pensioenkortingen voorkomen Systeemontmanteling Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
16430 Motie van het lid Tony van Dijck over geen 45 miljard euro overmaken naar Zuid- Symbolisch/declaratoir Gerichte restrictie 4 Gerichte restrictie second
16691 Motie van het lid Geurts over het doorbreken van de vicieuze cirkel rond de toen Procedureel/technisch Crisisrespons 4 Crisisrespons second
16999 Motie van de leden Van Haga en Baudet over het tegengaan van verdere oneerlijke Consensus framing (gedeeld belang) Gerichte restrictie 4 Gerichte restrictie second
17036 Motie van het lid Kerstens over onderzoeken of Defensie in aanmerking komt voor Welzijn/dienstverlening uitbreiding Crisisrespons 4 Crisisrespons second
17536 Motie van het lid Yesilgöz-Zegerius over in heel het Schengengebied haatprediker Institutioneel/rechtsstatelijk Gerichte restrictie 5 Gerichte restrictie second
17681 Motie van de leden Van Haga en Baudet over een plan van aanpak om de fiscaliteit Consensus framing (gedeeld belang) Systeemontmanteling 4 Systeemontmanteling second
17751 Gewijzigde motie van de leden Stoffer en Van Haga over een nullijn voor de ontwi Consensus framing (gedeeld belang) Symbolisch/declaratoir 4 Symbolisch/declaratoir second
18030 Motie van het lid Stoffer over zo snel mogelijk de snelwegverlichting 's nachts Procedureel/technisch Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
18062 Motie van het lid Krol over excuses voor de fouten die leidden tot slachtoffers Crisisrespons Symbolisch/declaratoir 5 Symbolisch/declaratoir second
18691 Motie van het lid Karabulut over geen extra troepen naar Afghanistan Symbolisch/declaratoir Gerichte restrictie 4 Gerichte restrictie second
20215 Gewijzigde motie van het lid Boswijk c.s. over onderzoeken hoe hoogwaardige land Welzijn/dienstverlening uitbreiding Institutioneel/rechtsstatelijk 3 Welzijn/dienstverlening uitbreiding original
21801 Motie van het lid Van Haga c.s. over de Defensievisie 2035 omarmen Consensus framing (gedeeld belang) Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
21982 Motie van het lid Graus c.s. over het zwartboek regeldruk van MKB-Nederland ter Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
22280 Motie van het lid Van der Plas over de kosten berekenen die op het bord van de b Lokaal/regionaal Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
22676 Motie van het lid Diederik van Dijk c.s. over een grootschalig en breedgedragen Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
22853 Motie van het lid Peter de Groot over nog voor het zomerreces additionele maatre Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
23013 Amendement van het lid Diederik van Dijk over budget voor de uitvoering van het Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
23030 Motie van het lid Eerdmans over in het verdeelbesluit geen asielopvangplekken op Gerichte restrictie Lokaal/regionaal 4 Lokaal/regionaal second
23141 Motie van het lid Eerdmans over de mogelijkheid tot inzet van de KMar actief ond Institutioneel/rechtsstatelijk Welzijn/dienstverlening uitbreiding 4 Welzijn/dienstverlening uitbreiding second
23206 Motie van het lid Nordkamp c.s. over het in kaart brengen van het aandeel van in Procedureel/technisch Gerichte restrictie 4 Gerichte restrictie second
23287 Motie van het lid Helder c.s. over het wetsvoorstel inzake het taakstrafverbod b Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
23301 Motie van de leden Tuinman en Boswijk over het onderzoeken van voorstellen met b Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
23441 Motie van de leden Van Zanten en Stoffer over een deel van het budget voor kanse Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
23454 Motie van het lid Joseph over een analyse laten maken van de juridische risico's Procedureel/technisch Institutioneel/rechtsstatelijk 5 Institutioneel/rechtsstatelijk second
23885 Motie van het lid Aartsen c.s. over verkennen hoe toetsings- of toezichtkaders a Consensus framing (gedeeld belang) Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
23984 Motie van het lid Pierik over de eisen aan de eco-regeling in de periode 2025-20 Systeemontmanteling Gerichte restrictie 4 Gerichte restrictie second
24008 Motie van het lid Holman c.s. over bij de Europese Commissie bevorderen dat de b Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
24046 Motie van het lid Keijzer c.s. over de minister zich kenbaar laten onthouden van Symbolisch/declaratoir Procedureel/technisch 4 Procedureel/technisch second
24077 Motie van het lid De Roon over een onderzoek instellen naar de rol en verantwoor Symbolisch/declaratoir Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
24358 Motie van de leden Helder en Uitermark over het vergroten van de personeelscapac Institutioneel/rechtsstatelijk Procedureel/technisch 4 Procedureel/technisch second
24632 Motie van de leden Veltman en Vedder over het voor de politie mogelijk maken om Institutioneel/rechtsstatelijk Gerichte restrictie 4 Gerichte restrictie second
24650 Gewijzigd amendement van de leden Dijk en Flach ter vervanging van nr. 13 over e Procedureel/technisch Institutioneel/rechtsstatelijk 4 Institutioneel/rechtsstatelijk second
24651 Motie van de leden Inge van Dijk en Van Oostenbruggen over een arbeidsmigratieto Gerichte restrictie Consensus framing (gedeeld belang) 4 Consensus framing (gedeeld belang) second
25061 Motie van het lid Kisteman c.s. over een vereenvoudiging van de RI&E-verplichtin Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
25062 Motie van het lid Kisteman c.s. over een voor het mkb werkbare wijze van werken Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
25079 Motie van de leden Bontenbal en Flach over de Europese standaarden voor stikstof Consensus framing (gedeeld belang) Procedureel/technisch 4 Procedureel/technisch second
25451 Motie van het lid Ceder over berekenen hoeveel geld de Palestijnse Autoriteit ja Symbolisch/declaratoir Gerichte restrictie 5 Gerichte restrictie second
25469 Motie van de leden Eerdmans en Diederik van Dijk over samen met gelijkgestemde E Gerichte restrictie Coalitie-afstemming 4 Coalitie-afstemming second
25616 Motie van het lid Eerdmans over de wettelijke taakstellingen voor gemeenten voor Gerichte restrictie Systeemontmanteling 4 Systeemontmanteling second
25982 Gewijzigde motie van het lid Bisschop c.s. over een koude sanering van de garnal Lokaal/regionaal Procedureel/technisch 3 Lokaal/regionaal original
27731 Amendement van het lid Eppink over dekking voor het schrappen van een wijziging Systeemontmanteling Procedureel/technisch 4 Procedureel/technisch second

4. Mechanism Distribution Comparison

Mechanism Original Count Second Count Validated Count
Consensus framing (gedeeld belang) 31 11 11
Institutioneel/rechtsstatelijk 28 22 22
Welzijn/dienstverlening uitbreiding 9 17 17
Procedureel/technisch 46 56 54
Lokaal/regionaal 6 4 5
Coalitie-afstemming 2 2 2
Symbolisch/declaratoir 12 7 7
Gerichte restrictie 41 60 61
Systeemontmanteling 17 13 13
Crisisrespons 8 8 8

5. Confusion Matrix (Top Rows)

Original \ Second Consensus framing / Institutional / rule Welfare / service ex Procedural / technic Local / regional con Coalition alignment Symbolic / declarato Targeted restriction System dismantling Crisis response
Consensus framing / 6 5 3 11 1 1 1 2 1 0
Institutional / rule 0 6 2 6 0 0 0 14 0 0
Welfare / service ex 0 2 5 1 0 0 0 0 0 1
Procedural / technic 2 5 2 30 0 0 1 3 2 1
Local / regional con 0 0 2 2 2 0 0 0 0 0
Coalition alignment 0 0 0 2 0 0 0 0 0 0
Symbolic / declarato 1 2 0 1 0 0 4 4 0 0
Targeted restriction 2 1 1 1 1 1 0 33 1 0
System dismantling 0 1 1 2 0 0 0 4 9 0
Crisis response 0 0 1 0 0 0 1 0 0 6

6. Conclusion

Cohen's kappa of 0.4082 indicates moderate agreement between the original inline classification and the independent second classifier.

Key findings:

  • 101 out of 200 motions agreed (50.5%)
  • 99 disagreements resolved: 4 kept original, 95 adopted second

Most common disagreement pairs:

  • institutional_rule_of_law / targeted_restriction: 14 times
  • consensus_framing / procedural_technical: 11 times
  • institutional_rule_of_law / procedural_technical: 6 times
  • procedural_technical / institutional_rule_of_law: 5 times
  • consensus_framing / institutional_rule_of_law: 5 times

Revised mechanism taxonomy recommendation:

  • Taxonomy needs revision to improve inter-rater reliability.
  • Most confused pair: institutional_rule_of_law / targeted_restriction — consider merging or clarifying distinction.