Zwei Kapitel im Anhang von „Data Feminism“ auditieren das Buch. Im Unterschied zu einer Evaluation, die den Wert einer Idee, eines Programms oder eines Konzepts anhand festgelegter Kriterien misst, ist ein Audit die Prüfung einer Person, Organisation, eines Systems oder Produkts, um deren Einhaltung vordefinierter Standards oder Prozesse festzustellen.
Obwohl ich diesen Blogbeitrag als zweiten Teil meiner Buchrezension von „Data Feminism“ deklariert habe, ist dieser Artikel auch ohne Kenntnis der Buchinhalte, wie ich sie im ersten Teil dargestellt habe, verständlich. Mir geht es hier in erster Linie um die Methode, wie ein Buch auditiert werden kann. Allerdings verwende ich zur Illustration Beispiele aus „Data Feminism“.
Werte und Metriken
Die Autorinnen erstellten zu Beginn ihrer Arbeit an Data Feminism ein Dokument, das ihre Werte und deren Operationalisierung für das noch zu schreibende Buch darstellt. Dieses Dokument fügten sie dem Manuskriptentwurf bei, der im Rahmen des offenen Peer-Review-Verfahrens online veröffentlicht wurde.
Open Peer-Review
Die Ergebnisse des Open-Peer-Review-Verfahrens für Data Feminism können öffentlich eingesehen werden. MIT Press setzt offenes Peer-Review-Verfahren vor allem im Rahmen seines „Works in Progress“-Programms (WiP) und bestimmter Open-Access-Zeitschriften um. Dabei nutzt der Verlag die PubPub-Plattform, um Feedback aus der Community vor der formalen Veröffentlichung zu ermöglichen. Im WiP-Programm werden Manuskripte zur offenen Diskussion und moderierten Begutachtung durch die Community veröffentlicht. So erhalten Autor*innen Feedback von einem breiten Publikum, bevor sie das strenge, traditionelle Peer-Review-Verfahren durchlaufen, das für die endgültige Annahme erforderlich ist.
Aber darauf will ich mich in diesem Beitrag nicht fokussieren. Vielmehr möchte ich mich hier auf den Prozess des Auditierens von Büchern konzentrieren.
Grundwerte
Der Audit soll das Engagement der Autorinnen für intersektionales, antihierarchisches Denken widerspiegeln. Im Kern geht es um die Frage: „Wessen Wissen stellen wir in den Mittelpunkt, und lässt es sich messen?“
Auf Grundlage ihres theoretischen Verständnisses, das sich in „Data Feminism“ niederschlagen soll, formulieren die Autorinnen fünf grundlegende Verpflichtungen:
- Intersektionalität – Feminismus muss sich mit sich überschneidenden Systemen der Unterdrückung (Rasse, Klasse, Behinderung, Sexualität usw.) auseinandersetzen, nicht nur mit Geschlecht.
- Gerechtigkeit – ist sowohl als Ergebnis als auch als Prozess zu sehen. Machthaber und andere Privilegierte müssen marginalisierten Stimmen Gehör schenken und Strukturen hinterfragen, die ihnen Vorteile verschaffen.
- Nähe – Das Wissen von Menschen, die direkt von Ungerechtigkeit betroffen sind, hat Vorrang vor distanzierten Analysen durch Fremde. Gemeinschaften verstehen ihre eigenen Probleme am besten.
- Menschlichkeit von Daten – Die Umwandlung menschlicher Erfahrung in Daten führt zu einem Verlust an Komplexität und Kontext. Es gilt die Geschichte von Daten als Instrument der Unterdrückung anzuerkennen.
- Reflexivität, Transparenz, Verantwortlichkeit – Die Autorinnen legen offen dar, wie ihre eigenen Positionen ihre Arbeit prägen, und sind offen für Kritik.
Kennzahlen
Die Autorinnen entwickelten quantitative Kennzahlen, um ihre eigene Arbeit anhand dieser Werte zu überprüfen und die Repräsentation in sieben Dimensionen zu erfassen: Rassismus, Patriarchat, Cissexismus, Heteronormativität, Ableismus, Kolonialismus und Klassismus. Sie analysierten Zitate und Beispiele sowohl in der Entwurfs- als auch in der Endfassung.
Nachfolgend bringe ich die komplette Tabelle aus „Data Feminism“., weil die darin angeführten Beispiele für Kennzahlen, für mich notwendig waren, um das Auditiersystem zu verstehen.
| Problem | Intention | Draft | Buch |
|---|---|---|---|
| Rassismus | • 75% der zitierten feministischen Publikationen stammen von People of Color. • 75% der besprochenen Beispiele feministischer Datenprojekte wurden von People of Color geleitet. | • Forschungsarbeiten: 36 Prozent stammen von People of Color. • Projekte: 49 Prozent wurden von People of Color geleitet. | Forschungsarbeiten: 32 Prozent von People of Color. Projekte: 42 Prozent unter der Leitung von People of Color. |
| Patriachat | • 75% aller Zitate und Beispiele stammen von Frauen und nicht-binären Personen. | • 67% der Zitate und Beispiele stammen von Frauen und nicht-binären Personen. | 62% der Zitate und Beispiele stammen von Frauen und nicht-binären Personen. |
| Cisexismus | • Trans-Perspektiven in Diskussionen über die Geschlechterbinarität in den Mittelpunkt stellen. • Transinklusive Sprache im gesamten Buch verwenden. • In jedem Kapitel ein Beispiel oder eine/n Theoretiker/in aus der Transgender-Perspektive vorstellen. | Drei von zehn Kapiteln enthalten Beispiele und/oder Theoretiker*innen aus der Transgender-Community. | Drei von zehn Kapiteln enthalten Beispiele und/oder Theoretiker*innen aus der Transgender-Community. |
| Heteronormativität | • Annahmen über Familienstrukturen und Geschlechterrollen hinterfragen. • Jedes Kapitel enthält Beispiele oder Theoretiker*innen, die die Bedeutung gemeinschaftlicher Unterstützungsnetzwerke verdeutlichen. | Zehn von zehn Kapiteln enthalten Beispiele aus der Gemeinschaft und/oder Theorien. | Neun von neun Kapiteln enthalten Beispiele aus der Gemeinschaft und/oder Theorien. |
| Ableismus | • Die Dominanz der Visualisierung in der Datenpräsentation hinterfragen • In jedem Kapitel ein Beispiel oder eine Theorie, wo nicht-visuelle Methoden der Datenpräsentation verwendet werden | Neun von zehn Kapiteln enthalten nicht-visuelle Beispiele und/oder Theorien. | Neun von neun Kapiteln enthalten nicht-visuelle Beispiele und/oder Theorien. |
| Kolonialismus | • 30 Prozent der besprochenen Projekte stammen aus dem Globalen Süden. • Jedes Kapitel enthält ein Beispiel oder eine Theorie zum indigenen Wissen und/oder Aktivismus. | • Projekte: 8,5 Prozent aus dem Globalen Süden • Fünf von zehn Kapiteln enthalten Beispiele und/oder Theorien indigener Völker. | • Projekte: 7% stammen aus dem Globalen Süden • Sieben der neun Kapitel enthalten Beispiele und/oder Theorien indigener Völker. |
| Klassismus | • Anerkennen, dass Data Science als Fachgebiet auf wirtschaftlichen, bildungsbezogenen und technologischen Privilegien beruht. • 50% der besprochenen feministischen Projekte stammen aus dem außeruniversitären Bereich. • Jedes Kapitel enthält ein Beispiel oder eine Theorie, die veranschaulicht, wie die Ideen ohne teure Technologie und/oder formale Ausbildung angewendet werden können. | Projekte: 88% aus dem außeruniversitären Bereich Alle zehn Kapitel enthalten Beispiele und/oder Theorien aus dem nicht-akademischen Umfeld. | Projekte: 78% aus dem außeruniversitären Bereich Alle neun Kapitel enthalten Beispiele und/oder Theorien aus dem nicht-akademischen Umfeld. |
| Nähe | Bei 50% der besprochenen feministischen Projekte kommen Personen vor, die direkt von einem Problem betroffen sind (im Gegensatz zu solchen, die das Phänomen aus der Ferne studieren oder darüber berichten). | Projekte: 49% beziehen direkt betroffene Personen mit ein | Projekte: 49% beziehen direkt betroffene Personen mit ein |
Audit
Die Autor*innen gaben ein Audit in Auftrag, um zu überprüfen, welche Personen, Projekte und Organisationen im Buch erwähnt werden und deren Merkmale bezüglich ihrer Metriken zu dokumentieren. Dies diente zwei Zwecken: der Einhaltung der Grundwerte des Buches und der Transparenz hinsichtlich der einbezogenen Perspektiven.
Methodische Probleme
Es zeigt sich aber, wie die Autorin Isabel Carter in einem eigenen Kapitel berichtet, dass es gar nicht so einfach ist, die Metriken anzuwenden.
- Was galt als Referenz?: Jede namentlich genannte Person und jedes Projekt mussten bezüglich ihrer Bedeutung für die Metriken genau unter die Lupe genommen werden. Auch Unternehmen, allerdings nur dann, wenn sie eine aktive Rolle spielten und mehrfach erwähnt wurden.
- Was wurde kategorisiert?: Bei Einzelpersonen versucht Isabell Carter, die ethnische Zugehörigkeit, das Geschlecht, das Herkunftsland und die indigene Herkunft festzustellen bzw. zu überprüfen. Außerdem wurde erfasst, ob die Referenzen aus dem akademischen Bereich stammten, gute oder schlechte Datenpraktiken repräsentierten, gemeinschaftlich getragen waren und visuelle oder nicht-visuelle Beispiele enthielten. Weiters wurde deren Bedeutung im Buch durch die Anzahl ihres Vorkommens klassifiziert (beiläufig, mehrfach oder zentral).
Die wichtigste Herausforderung aber war: Ohne die Selbstidentifizierung der kategorisierten Personen sind Kategorien wie Ethnie und Geschlecht naturgemäß unsicher. Die Autor*innen weisen darauf hin, dass manche Identitäten (z. B. trans, nicht-binär) möglicherweise nie öffentlich bekannt werden und dass eine Kategorisierung allein keinen repräsentativen Diskurs garantiert.
Unbequeme Ergebnisse
Wie die obige Tabelle zeigt, wurde die angepeilte Repräsentation von Frauen, People of Color und Perspektiven aus dem Globalen Süden nicht erreicht. Die nahm sogar vom Entwurf bis zum endgültigen Manuskript ab. Die Autor*innen reflektieren offen über die Gründe: Sie überwachten ihre Kennzahlen während der Überarbeitung nicht kontinuierlich und reproduzierten unbeabsichtigt akademische Vorurteile, indem sie Zitate zur Stärkung der wissenschaftlichen Glaubwürdigkeit aus den üblichen Quellen hinzufügten.
Schlussfolgerung
Ich halte den in Data Feminism vorgestellten Audit für eine spannende Methode, um zu überprüfen, ob die selbst gesteckten Ziele erreicht worden sind. Allein schon das schriftliche Auflisten der Ziele ist ein wichtiger Schritt. Je nach dem Inhalt des Buches werden sich die Metriken grundlegend voneinander unterscheiden. Für ein Lehrbuch zur Bayes-Statistik beispielsweise müssen natürlich andere Ziele gelten als z. B. für ein Buch zu Mediennutzung oder Schulentwicklung.
Trotz dieser wesentlichen inhaltlichen Unterschiede sehe ich ein Muster, das sich in fünfteilige Schritte unterteilen lässt:
- Schritt: Noch vor dem Fertigstellen des Manuskripts muss überlegt werden, welches zentrale Ziel (oder welche Ziele) mit dem Buch verfolgt werden soll bzw. sollen.
- Schritt: Anschließend müssen die Ziele (bzw. das Ziel) in mehrere Aspekte unterteilt werden.
- Schritt: Der vielleicht schwerste Schritt ist es meiner Meinung nach, eine Operationalisierung festzulegen, d. h., anzugeben, wie die Überprüfung der Umsetzung der Ziele vorgenommen werden kann.
- Schritt: Es muss nun der angepeilte Grad der Zielerreichung für jeden einzelnen operationalisierten Aspekt festgelegt werden (entweder in Prozenten für zählbare Aspekte oder eine qualitative Beschreibung, in welchem Ausmaß das Ziel umgesetzt werden soll). In der obigen Tabelle ist dies die intendierte Zielerreichung.
- Schritt: Der letzte Schritt ist es dann, das tatsächliche Audit vorzunehmen. Hier sollte – wenn möglich – ein Auftrag an Personen ergehen, die nicht in das Projekt involviert sind. Im Falle des Open Peer-Review könnte – wie das in Data Feminism auch der Fall gewesen ist – das Audit zweimal durchgeführt werden (Manuskript bzw. Draft und fertiggestelltes Buch).
Das Beispiel des Audits für Data Feminism zeigt, dass Werte allein nicht ausreichen – sie erfordern kontinuierliches Handeln, Überprüfung der Ziele, der Zielerreichung und die Bereitschaft, Änderungen im Zuge des Schreibprozesses auch rückwirkend für bereits geschriebene Passagen vorzunehmen.
