KI-Forschung ist ein Müllcontainerfeuer und Google hält die Streichhölzer

Die Welt der KI-Forschung liegt in Trümmern. Von den Akademikern, die einfach zu monetarisierende Programme priorisieren, anstatt neue Wege zu beschreiten, bis hin zur Silicon Valley-Elite, die die Drohung mit dem Verlust von Arbeitsplätzen nutzt, um unternehmensfreundliche Hypothesen zu fördern, ist das System ein kaputtes Durcheinander.

Und Google verdient einen Löwenanteil der Schuld.

Wie es begann

Dort gab es ca. 85.000 Forschungsarbeiten im Jahr 2000 weltweit zum Thema AI / ML veröffentlicht. Spulen wir bis 2021 vor, wurden allein in den USA fast doppelt so viele veröffentlicht.

Zu sagen, dass es auf dem Feld eine Explosion gegeben hat, wäre eine massive Untertreibung. Dieser Zustrom von Forschern und neuen Ideen hat dazu geführt, dass Deep Learning zu einer der weltweit wichtigsten Technologien geworden ist.

Zwischen 2014 und 2021 hat Big Tech seine „Web First“- und „Mobile First“-Prinzipien so gut wie aufgegeben, um „AI First“-Strategien zu übernehmen.

Jetzt, im Jahr 2022, sind KI-Entwickler und -Forscher gefragter (und erhalten mehr Gehalt) als fast alle anderen Jobs in der Technik außerhalb der C-Suite.

Aber diese Art des ungebremsten Wachstums hat auch eine Schattenseite. Im Kampf um die Erfüllung der Marktnachfrage nach Deep-Learning-basierten Produkten und Dienstleistungen wird das Feld so halsabschneiderisch und unbeständig wie der Profisport.

In den letzten Jahren haben wir gesehen, dass „GANVater„Ian Goodfellow, Sprungschiff von Google zu Apple, Timnit Gebru und andere werden gefeuert von Google für abweichende Meinungen zur Wirksamkeit von Forschung, und ein virtueller Strom zweifelhafter KI-Papiere schafft es, die Peer-Review irgendwie zu klären.

Die Flut an Talenten, die im Zuge der Deep-Learning-Explosion eintraf, brachte auch eine Schlammlawine aus schlechter Forschung, Betrug und Unternehmensgier mit sich.

Wie es läuft

Google trägt mehr als jedes andere Unternehmen die Verantwortung für das moderne KI-Paradigma. Das bedeutet, dass wir Big G die volle Punktzahl geben müssen, um die Verarbeitung natürlicher Sprache und die Bilderkennung der breiten Masse zugänglich zu machen.

Es bedeutet auch, dass wir Google die Schaffung der Forscher-Essen-Forscher-Umgebung zuschreiben können, in der einige College-Studenten und ihre Professoren mit Big-Tech-Partnern Forschungsarbeiten als wenig mehr als Köder für Risikokapitalgeber und Unternehmens-Headhunter behandeln.

An der Spitze hat Google seine Bereitschaft gezeigt, die talentiertesten Forscher der Welt einzustellen. Und es hat sich auch mehrfach gezeigt, dass es sie sofort feuern wird, wenn sie sich nicht an die Unternehmenslinie halten.

Das Unternehmen machte weltweit Schlagzeilen, nachdem es im Dezember 2020 Timnit Gebru entlassen hatte, einen Forscher, den es eingestellt hatte, um seine KI-Ethikabteilung zu leiten. Nur wenige Monate später entließ es ein weiteres Mitglied des Teams, Margaret Mitchell.

Google behauptet, dass die Arbeit der Forscher nicht den Spezifikationen entsprach, aber sowohl Frauen als auch zahlreiche Unterstützer behaupten, die Entlassungen seien erst erfolgt, nachdem sie ethische Bedenken hinsichtlich der Forschung geäußert hatten, die der KI-Chef des Unternehmens, Jeff Dean, abgesegnet hatte.

Jetzt ist kaum mehr als ein Jahr vergangen und die Geschichte wiederholt sich. Google einen weiteren weltbekannten KI-Forscher gefeuertSatrajit Chatterjee, nachdem er ein Team von Wissenschaftlern anführte, um ein anderes Papier anzufechten, das Dean unterzeichnet hatte.

Der Schlammlawineneffekt

An der Spitze bedeutet dies, dass der Wettbewerb um hochbezahlte Jobs hart ist. Und die Jagd nach dem nächsten talentierten Forscher oder Entwickler beginnt früher denn je.

Von Studenten, die fortgeschrittene Abschlüsse in den Bereichen maschinelles Lernen und KI anstreben und schließlich außerhalb der Wissenschaft arbeiten möchten, wird erwartet, dass sie Forschungsarbeiten verfassen oder mitverfassen, die ihr Talent unter Beweis stellen.

Leider ist die Pipeline von der Wissenschaft zu Big Tech oder der VC-geführten Startup-Welt mit beschissenen Papieren übersät, die von Studenten geschrieben wurden, deren ganze Neigung darin besteht, Algorithmen zu schreiben, die sich monetarisieren lassen.

Eine schnelle Google-Scholar-Suche nach „Natural Language Processing“ zum Beispiel zeigt fast eine Million Treffer. Viele der aufgeführten Artikel wurden Hunderte oder Tausende von Zitaten.

Oberflächlich betrachtet würde dies darauf hindeuten, dass NLP eine florierende Teilmenge der maschinellen Lernforschung ist, die die Aufmerksamkeit von Forschern auf der ganzen Welt auf sich gezogen hat.

Tatsächlich brachten Suchanfragen nach „artificial neuronal network“, „computer vision“ und „reinforcement learning“ alle eine ähnliche Fülle von Ergebnissen.

Leider ist ein erheblicher Teil der KI- und ML-Forschung entweder absichtlich betrügerisch oder voller schlechter Wissenschaft.

Was in der Vergangenheit gut funktioniert hat, entwickelt sich schnell zu einer potenziell veralteten Methode der Forschungskommunikation.

Stuart Richie vom Guardian hat kürzlich geschrieben ein Artikel Ich frage mich, ob wir Forschungsarbeiten ganz abschaffen sollten. Ihnen zufolge sind die Probleme der Wissenschaft ziemlich tief eingebrannt:

Dieses System bringt große Probleme mit sich. Das wichtigste unter ihnen ist das Problem der Veröffentlichungsverzerrung: Gutachter und Redakteure geben einer wissenschaftlichen Arbeit mit größerer Wahrscheinlichkeit einen guten Bericht und veröffentlichen sie in ihrer Zeitschrift, wenn sie positive oder aufregende Ergebnisse berichtet. Daher unternehmen Wissenschaftler große Anstrengungen, um ihre Studien aufzupeppen, stützen sich auf ihre Analysen, um „bessere“ Ergebnisse zu erzielen, und begehen manchmal sogar Betrug, um diese überaus wichtigen Gatekeeper zu beeindrucken. Das verzerrt drastisch unseren Blick auf das, was wirklich vor sich ging.

Das Problem ist, dass die Torwächter, die alle zu beeindrucken versuchen, dazu neigen, die Schlüssel für die Zulassung der Studenten zu zukünftigen Beschäftigungen und Akademikern in renommierten Zeitschriften oder Konferenzen in der Hand zu halten – Forscher können auf eigene Gefahr ihre Zustimmung nicht erhalten.

Und selbst wenn es eine Zeitung schafft, es durch die Peer-Review zu schaffen, gibt es keine Garantie dafür, dass die Leute, die die Dinge vorantreiben, nicht am Schalter schlafen.

Aus diesem Grund hat Guillaume Cabanac, außerordentlicher Professor für Informatik an der Universität von Toulouse, ein Projekt namens the ins Leben gerufen Problematischer Papierscreener (PPS).

Das PPS verwendet Automatisierung, um Papiere zu kennzeichnen, die potenziell problematischen Code, Mathematik oder Wortschatz enthalten. Im Geiste der Wissenschaft und Fairness stellt Cabanac sicher, dass jedes gekennzeichnete Papier manuell von Menschen überprüft wird. Aber der Job ist wahrscheinlich zu groß für eine Handvoll Leute, um sie in ihrer Freizeit zu erledigen.

Laut a Prüfbericht von Spectrum News gibt es viele problematische Zeitungen. Und die meisten haben mit maschinellem Lernen und KI zu tun:

Der Screener hielt etwa 7.650 problematische Studien für problematisch, darunter mehr als 6.000 mit gequälten Phrasen. Die meisten Papiere mit gequälten Phrasen scheinen aus den Bereichen des maschinellen Lernens zu stammen, künstliche Intelligenz und Technik.

Gequälte Ausdrücke sind Begriffe, die bei Forschern Alarm schlagen, weil sie versuchen, einen Prozess oder ein Konzept zu beschreiben, das bereits etabliert ist.

Beispielsweise könnte die Verwendung von Begriffen wie „gefälschte neuronale“ oder „künstliche neuronale“ auf die Verwendung eines Thesaurus-Plug-ins hindeuten, das von schlechten Schauspielern verwendet wird, die versuchen, mit dem Plagiieren früherer Arbeiten davonzukommen.

Die Lösung

Während Google nicht für alles Unerwünschte in den Bereichen maschinelles Lernen und KI verantwortlich gemacht werden kann, hat es eine übergroße Rolle bei der Übertragung von Peer-Review-Forschung gespielt.

Das soll nicht heißen, dass Google nicht auch die wissenschaftliche Gemeinschaft durch Open Source, finanzielle Hilfe und Forschungsunterstützung unterstützt und unterstützt. Und wir versuchen sicherlich nicht zu implizieren, dass jeder, der KI studiert, nur darauf aus ist, schnelles Geld zu machen.

Aber das System ist so aufgebaut, dass es erstens die Monetarisierung von Algorithmen fördert und zweitens das Feld vorantreibt. Damit sich dies ändert, müssen sich sowohl Big Tech als auch die Wissenschaft zu einer umfassenden Reform der Präsentation und Bewertung von Forschungsergebnissen verpflichten.

Derzeit gibt es keine allgemein anerkannte unabhängige Prüfstelle für Papiere. Das Peer-Review-System ähnelt eher einem Ehrenkodex als einer Reihe vereinbarter Prinzipien, die von Institutionen befolgt werden.

Es gibt jedoch einen Präzedenzfall für die Einrichtung und den Betrieb eines Aufsichtsausschusses mit der Reichweite, dem Einfluss und dem Fachwissen, um über akademische Grenzen hinweg zu regieren: der NCAA.

Wenn wir ein faires Wettkampfsystem für Tausende von Amateur-Leichtathletikprogrammen vereinheitlichen können, ist es eine sichere Wette, dass wir ein Leitungsgremium bilden können, um Richtlinien für die akademische Forschung und Überprüfung festzulegen.

Und was Google angeht, besteht eine bessere als null Chance, dass CEO Sundar Pichai erneut vor den Kongress gerufen wird, wenn das Unternehmen weiterhin die Forscher feuert, die es anstellt, um seine ethischen KI-Programme zu überwachen.

Der US-Kapitalismus bedeutet, dass ein Unternehmen normalerweise frei ist, einzustellen und zu entlassen, wen es will, aber auch Aktionäre und Arbeitnehmer haben Rechte.

Irgendwann wird sich Google zu ethischer Forschung verpflichten müssen, oder es wird nicht in der Lage sein, mit Unternehmen und Organisationen zu konkurrieren, die dazu bereit sind.

Leave a Comment