Μετρώντας την έμφυλη βία με αλγόριθμους

Aυτό που συνέβη (και συμβαίνει συχνά) με τα συστήματα αλγόριθμων που προβλέπουν πιθανές συμπεριφορές θυμίζει την ταινία «Τεχνητή Δικαιοσύνη» του Σιμόν Κασάλ: σε έναν καθόλου μακρινό κόσμο η κυβέρνηση της Ισπανίας αποφασίζει να αντικαταστήσει τους δικαστές με λογισμικό τεχνητής νοημοσύνης, που διαφημίζεται ως αμερόληπτο, απαλλαγμένο από πολιτικούς επηρεασμούς, αδέκαστο και άκρως αποτελεσματικό, αλλά αποδεικνύεται η πέτρα ενός σκανδάλου όπου τεχνολογία, συνωμοσίες ελέγχου και ηθικά διλήμματα αλληλοαμφισβητούνται.

Η Λίνα το έζησε με τον τραγικότερο τρόπο. Τον Ιανουάριο κατάγγειλε στην αστυνομία της Μάλαγας τον πρώην σύντροφό της, που σήκωσε χέρι εναντίον της. Δεν ήταν το πρώτο βίαιο επεισόδιο που είχε υπάρξει μεταξύ τους. Στο τμήμα κατέγραψαν την καταγγελία της στο Σύστημα Ολιστικής Παρακολούθησης Περιστατικών Εμφυλης Βίας, VioGén: ένα ψηφιακό εργαλείο που έφτιαξε η ίδια η αστυνομία με τη συνδρομή ακαδημαϊκών και αξιολογεί τις πιθανότητες μια γυναίκα να δεχτεί νέα επίθεση από τον άντρα που καταγγέλλει.

Σύμφωνα με αυτό, εκείνη βρισκόταν στην κατηγορία της «μέτριας» απειλής που δεν έχρηζε κάποιων προστατευτικών μέτρων. Σίγουρη ωστόσο για τον κίνδυνο που αντιμετώπιζε, ζήτησε να ληφθούν ασφαλιστικά μέτρα εναντίον του δράστη ώστε να μην μπορεί να συνεχίσει να παρενοχλεί την ίδια και τα παιδιά της. Αλλά το δικαστήριο της το αρνήθηκε στηριζόμενο στην αξιολόγηση της αστυνομίας, δηλαδή του VioGén.

Μέρες μετά ο πρώην σύντροφός της τη σκότωσε. Μπήκε στο διαμέρισμά της, το οποίο λίγο μετά τυλίχτηκε στις φλόγες. Η μητέρα της και τα τρία παιδιά της κατάφεραν να διαφύγουν, όχι όμως και η Λίνα. «Ο πατέρας μου σκότωσε τη μαμά μου» είπε ο 11χρονος γιος της στην αστυνομία.

35 κρίσιμες ερωτήσεις

Η γυναικοκτονία αυτή, που είχε απορριφθεί ως πιθανότητα από τις Αρχές, έφερε ξανά στη δημόσια συζήτηση στην Ισπανία τα συστήματα σαν το VioGén και την ικανότητα και καταλληλότητά τους να «ερμηνεύουν» σωστά τις ενδείξεις και τελικά να προστατεύουν τις γυναίκες.

Το σύστημα -που στηρίζεται σε αλγόριθμο- διατυπώνει 35 ερωτήσεις για το συγκεκριμένο περιστατικό κακοποίησης και την έντασή του, αλλά και για το ιστορικό της βίας, την ψυχική υγεία του δράστη, την πρόσβασή του σε όπλα και πολλά ακόμη. Με βάσει τις απαντήσεις κατηγοριοποιεί την απειλή που αντιμετωπίζει η γυναίκα σε πέντε κλίμακες: μηδαμινή, χαμηλή, μέτρια, υψηλή και ακραία. Η κατηγοριοποίηση αυτή χρησιμοποιείται από την αστυνομία, τις κοινωνικές υπηρεσίες, ακόμη και τα δικαστήρια για να αποφασιστούν (ή όχι) μέτρα προστασίας των απειλούμενων γυναικών.

Η Ισπανία δεν είναι η μόνη χώρα στον κόσμο που χρησιμοποιεί συστήματα τεχνητής νοημοσύνης για να αξιολογήσει τις πιθανότητες ένας δράστης να επαναλάβει κακοποιητικές συμπεριφορές. Αλλά, όπως επισημαίνει ρεπορτάζ της El Periódico, είναι η χώρα όπου περισσότερο εδραιωμένη είναι η χρήση και εφαρμογή της αξιολόγησης αυτών των αλγόριθμων στην αστυνομική πρακτική: έρευνα του 2014 έδειξε πως η αστυνομία δεχόταν σαν θέσφατο την πρόβλεψη του VioGén στο 95% των περιπτώσεων.

Η αστυνομία της Μάλαγας επιμένει πως το VioGén είναι «εξαιρετικά σημαντικό σύστημα» που βοηθά την παρακολούθηση των περιστατικών με εξαιρετική ακρίβεια. Κάθε μήνα τα αστυνομικά τμήματα της περιοχής δέχονται περισσότερες από 300 καταγγελίες έμφυλης βίας και από αυτές το VioGén χαρακτηρίζει τις εννέα με δέκα καταγγέλλουσες ως αντιμέτωπες με «ακραίο» κίνδυνο να υποστούν νέα περιστατικά βίας.

Στερεότυπα και σκοτεινά σημεία

Ψηφιακά συστήματα όπως το VioGén θα όφειλαν να είναι απλώς ένα (από τα πολλά άλλα) εργαλείο στην εκτίμηση του κινδύνου έμφυλης βίας. Αλλά κανείς δεν μπορεί να καταλήξει αν είναι πράγματι αποτελεσματικό ή με ποιον ακριβώς τρόπο επηρεάζει τις αποφάσεις της αστυνομίας και της Δικαιοσύνης. Δεν υπάρχουν επίσημες στοιχειοθετημένες έρευνες, καθώς το υπουργείο Εσωτερικών αρνείται συστηματικά πρόσβαση στα στοιχεία του VioGén σε ακαδημαϊκούς και ερευνητές και ούτε δέχεται να γίνει μια έρευνα ελέγχου του αλγόριθμου.

Αλλά οι ελλείψεις (και οι στερεοτυπικές διακρίσεις) ανάλογων συστημάτων έχουν τεκμηριωθεί σε άλλες χώρες. Στις ΗΠΑ π.χ. ανάλυση που έγινε το 2016 για ανάλογο εργαλείο πρόβλεψης μιας νέας επίθεσης σε κακοποιημένες γυναίκες από τον ίδιο δράστη έδειξε ότι οι μαύροι κατηγορούμενοι είχαν μεγαλύτερη πιθανότητα από τους λευκούς να αξιολογηθούν λάθος ως δράστες «υψηλού κινδύνου» υποτροπής. Και αντίστροφα οι λευκοί κακοποιητές είχαν περισσότερες πιθανότητες από τους μαύρους να χαρακτηριστούν λάθος ως «χαμηλού κινδύνου».

Το 2018, αφού το υπουργείο Εσωτερικών αρνήθηκε πρόταση της Eticas (οργανισμός που ερευνά τον κοινωνικό και ηθικό αντίκτυπο της τεχνολογίας) για διεξαγωγή εσωτερικής εμπιστευτικής έρευνας ελέγχου του συστήματος, η οργάνωση προχώρηση σε δική της έρευνα παίρνοντας συνεντεύξεις από επιζώσες αλλά και πληροφορίες από δημοσιεύματα, στατιστικές και στοιχεία από το δικαστικό σύστημα για θύματα γυναικοκτονιών. Σύμφωνα με αυτήν, από το 2003 ώς το 2021 71 γυναίκες που δολοφονήθηκαν από νυν ή πρώην συντρόφους τους είχαν χαρακτηριστεί από το VioGén ως μηδαμινού, χαμηλού ή μέτριου κινδύνου.

Η Eticas επιμένει να δοθούν τα στοιχεία, γιατί όπως λέει η Χέμα Γκαλντόν, ιδρύτρια της οργάνωσης, το μεγάλο ερώτημα είναι ποια είναι τα πραγματικά ποσοστά λάθους στις αξιολογήσεις του συστήματος και πώς μπορεί να αλλάξει το ίδιο αλλά οι αντιλήψεις των αρμοδίων ώστε να προστατευτούν περισσότερο οι κακοποιημένες γυναίκες.

Συστήματα τεχνητής νοημοσύνης μπορεί να είναι χρήσιμα ως συμβουλευτικά εργαλεία κι όχι ως αλάθητοι κριτές. Οι άνθρωποι δεν είναι μόνο αριθμοί, ούτε «ουδέτερα» στοιχεία, πόσο μάλλον όταν αυτά αντλούνται από έναν πραγματικό κόσμο με βαθιά ριζωμένες στερεοτυπικές έμφυλες διακρίσεις που επηρεάζουν αυτούς τους αλγόριθμους.

Ισως το πιο καίριο μήνυμα που αναδύεται από αυτή τη συζήτηση να είναι πως δεν μπορεί να εξαρτιόμαστε τυφλά από την τεχνολογία για αποφάσεις που επηρεάζουν καταλυτικά την ανθρώπινη ζωή ή και συμβάλλουν ακόμη στη στέρησή της. Και πως χωρίς ανθρώπινη επίβλεψη και εκτίμηση των πραγματικών γεγονότων και χωρίς την εφαρμογή κοινωνικών και ηθικών αρχών αυτοί οι αλγόριθμοι μπορεί να έχουν τραγικές συνέπειες.