Google testet seine KI-Zukunft mit AI Test Kitchen im Betatest

Es ist klar, dass die Zukunft von Google an KI-Sprachmodelle gebunden ist. Auf der diesjährigen I/O-Konferenz kündigte das Unternehmen eine Reihe von Updates an, die auf dieser Technologie basieren, von neuen „Multisearch“-Funktionen, mit denen Sie Bildsuchen mit Textabfragen koppeln können, bis hin zu Verbesserungen für Google Assistant und Unterstützung für 24 neue Sprachen in Google Übersetzer.

Doch Google – und das Feld der KI-Sprachforschung im Allgemeinen – steht vor großen Problemen. Google selbst hat interne Kritik ernsthaft misshandelt, Mitarbeiter entlassen, die Probleme mit Voreingenommenheit in Sprachmodellen angesprochen haben, und seinen Ruf bei der KI-Community geschädigt. Und Forscher finden weiterhin Probleme mit KI-Sprachmodellen, von Fehlern mit Geschlechter- und Rassenvorurteile dazu, dass diese Modelle eine Tendenz zur Schlichtheit haben etwas ins Lot bringen (eine entnervende Feststellung für jeden, der KI nutzen möchte, um zuverlässige Informationen zu liefern).

Jetzt scheint das Unternehmen jedoch einen Schritt zurück zu gehen – oder eher einen langsameren Schritt nach vorne. Auf der diesjährigen I/O lag ein neuer Fokus auf Projekten, die darauf abzielen, Probleme wie KI-Voreingenommenheit zu testen und zu beheben, einschließlich einer neuen Methode zur Messung von Hauttönen, von der das Unternehmen hofft, dass sie bei der Vielfalt der Bildverarbeitungsmodelle und einer neuen App mit dem Namen helfen wird AI Test Kitchen, das ausgewählten Personen Zugang zu den neuesten Sprachmodellen des Unternehmens gewährt, um sie auf Fehler zu untersuchen. Betrachten Sie es als einen Beta-Test für die Zukunft von Google.

Treten Sie ein in die KI-Testküche

Bei einem Videoanruf vor der I/O fordert Josh Woodward, Senior Director of Product Management bei Google, Googles neustes Sprachmodell auf, sich einen Marshmallow-Vulkan vorzustellen.

“Du bist an einem Marshmallow-Vulkan!” sagt die KI. „Es brechen Marshmallows aus. Du hörst ein riesiges Grollen und spürst, wie der Boden bebt. Die Marshmallows fliegen überall herum.“

Woodward ist mit dieser Antwort zufrieden und stößt das System erneut an. “Wonach riecht es?” er fragt. „Es riecht offensichtlich nach Marshmallows“, antwortet die KI. “Du kannst es überall um dich herum riechen.” Woodward lacht: „Okay, das war also sehr knapp.“ Aber zumindest machte es Sinn.

Woodward zeigt mir AI Test Kitchen, eine Android-App, die ausgewählten Benutzern eingeschränkten Zugriff auf das neueste und beste KI-Sprachmodell von Google, LaMDA 2, gewährt. Das Modell selbst ist ein Update des ursprünglichen LaMDA, das auf der letztjährigen I / O angekündigt wurde, und hat die dieselbe grundlegende Funktionalität: Sie sprechen mit ihm und er spricht zurück. Aber Test Kitchen hüllt das System in eine neue, zugängliche Schnittstelle, die Benutzer dazu ermutigt, Feedback zu seiner Leistung zu geben.

Wie Woodward erklärt, soll ein Experimentierraum für die neuesten KI-Modelle von Google geschaffen werden. „Diese Sprachmodelle sind sehr spannend, aber auch sehr unvollständig“, sagt er. „Und wir wollen einen Weg finden, etwas nach und nach in die Hände der Menschen zu bekommen, um sowohl hoffentlich zu sehen, wie nützlich es ist, als auch Feedback zu geben und Bereiche aufzuzeigen, in denen es zu kurz kommt.“


Google möchte Feedback von Benutzern zu den Konversationsfähigkeiten von LaMDA einholen.
Bild: Google

Die App hat drei Modi: „Imagine It“, „Talk About It“ und „List It“, wobei jeder einen anderen Aspekt der Systemfunktionalität testen soll. „Imagine It“ fordert Benutzer auf, einen realen oder imaginären Ort zu nennen, den LaMDA dann beschreibt (der Test ist, ob LaMDA mit Ihrer Beschreibung übereinstimmen kann); „Talk About It“ bietet eine Konversationsaufforderung (wie „Sprich mit einem Tennisball über einen Hund“) mit der Absicht zu testen, ob die KI beim Thema bleibt; während „List It“ Benutzer auffordert, Aufgaben oder Themen zu benennen, um zu sehen, ob LaMDA es in nützliche Aufzählungspunkte aufschlüsseln kann (wenn Sie also sagen „Ich möchte einen Gemüsegarten anlegen“, könnte die Antwort sub -Themen wie „Was willst du anbauen?“ und „Wasser und Pflege“).

AI Test Kitchen wird in den kommenden Monaten in den USA eingeführt, aber nicht im Play Store für jedermann zum Herunterladen verfügbar sein. Laut Woodward hat Google noch nicht vollständig entschieden, wie es den Zugriff anbieten wird, schlägt jedoch vor, dass dies nur auf Einladung erfolgen wird, wobei das Unternehmen sich an Akademiker, Forscher und politische Entscheidungsträger wendet, um zu sehen, ob sie daran interessiert sind, es auszuprobieren.

Wie Woodward erklärt, möchte Google die App „auf eine Weise herausbringen, bei der die Leute wissen, wofür sie sich anmelden, wenn sie sie verwenden, und wissen, dass sie ungenaue Dinge sagen wird. Es wird sagen, dass Dinge, von denen Sie wissen, nicht repräsentativ für ein fertiges Produkt sind.“

Diese Ankündigung und der Rahmen sagen uns ein paar verschiedene Dinge: Erstens, dass KI-Sprachmodelle äußerst komplexe Systeme sind und dass ein Unternehmen wie Google nicht glaubt, dass es ohne Hilfe von außen möglich ist, sie umfassend zu testen, um alle möglichen Fehlerfälle zu finden. Zweitens ist sich Google der Fehleranfälligkeit dieser KI-Sprachmodelle sehr bewusst und will die Erwartungen managen.

Ein weiteres imaginäres Szenario aus LaMDA 2 in der AI Test Kitchen App.
Bild: Google

Wenn Organisationen neue KI-Systeme ohne angemessene Überprüfung in die Öffentlichkeit bringen, können die Ergebnisse katastrophal sein. (Erinnern Sie sich an Tay, den Microsoft-Chatbot von Twitter gelehrt, rassistisch zu sein? Oder fragen Sie Delphi, den KI-Ethikberater, der das sein könnte aufgefordert, den Völkermord zu dulden?) Googles neue AI Test Kitchen-App ist ein Versuch, diesen Prozess abzumildern: Kritik an seinen KI-Systemen einzuladen, aber den Fluss dieses Feedbacks zu kontrollieren.

Deborah Raji, eine KI-Forscherin, die sich auf Audits und Bewertungen von KI-Modellen spezialisiert hat, erzählt Der Rand dass dieser Ansatz zwangsläufig begrenzt, was Dritte über das System erfahren können. „Da sie vollständig kontrollieren, was sie teilen, ist es nur möglich, ein verzerrtes Verständnis davon zu bekommen, wie das System funktioniert, da man sich zu sehr auf das Unternehmen verlässt, um zu kontrollieren, welche Eingabeaufforderungen zulässig sind und wie mit dem Modell interagiert wird.“ sagt Raiji. Im Gegensatz dazu waren einige Unternehmen wie Facebook mit ihrer Forschung viel offener und veröffentlichten KI-Modelle auf diese Weise ermöglicht eine viel größere Kontrolle.

Wie genau der Ansatz von Google in der realen Welt funktionieren wird, ist noch nicht klar, aber das Unternehmen erwartet zumindest, dass einige Dinge schief gehen werden.

„Wir haben einen großen Red-Teaming-Prozess durchgeführt [to test the weaknesses of the system] intern, aber trotz alledem glauben wir immer noch, dass die Leute versuchen werden, es zu brechen, und ein Prozentsatz von ihnen wird erfolgreich sein “, sagt Woodward. „Dies ist eine Reise, aber es ist ein Bereich aktiver Forschung. Es gibt eine Menge Dinge herauszufinden. Und was wir sagen, ist, dass wir es nicht herausfinden können, indem wir es einfach intern testen – wir müssen es öffnen.

Jagd nach der Zukunft der Suche

Sobald Sie LaMDA in Aktion sehen, ist es schwer vorstellbar, wie Technologie wie diese Google in Zukunft verändern wird, insbesondere sein größtes Produkt: die Suche. Obwohl Google betont, dass es sich bei AI Test Kitchen nur um ein Recherchetool handelt, verbindet sich dessen Funktionalität ganz offensichtlich mit den Diensten des Unternehmens. Zum Beispiel ist es für Google Assistant unerlässlich, eine Thematisierung beizubehalten, während der „List It“-Modus in Test Kitchen nahezu identisch mit ist Googles „Wissenswertes“-Featuredas Aufgaben und Themen bei der Suche in Aufzählungszeichen aufschlüsselt.

Google selbst hat solche Spekulationen (vielleicht unbeabsichtigt) in einem geschürt Forschungsarbeit veröffentlicht im letzten Jahr. In dem Papier schlugen vier Ingenieure des Unternehmens vor, dass zukünftige Suchmaschinen eher wie Vermittler agieren würden, anstatt Fragen in ein Suchfeld einzugeben und den Benutzern die Ergebnisse zu zeigen, indem sie KI verwenden, um den Inhalt der Ergebnisse zu analysieren und dann das meiste herauszuholen nützliche Informationen. Offensichtlich bringt dieser Ansatz neue Probleme mit sich, die sich aus den KI-Modellen selbst ergeben, von der Verzerrung der Ergebnisse bis hin zu den Systemen, die Antworten bilden.

Teilweise hat Google diesen Weg bereits eingeschlagen, mit Tools wie „Featured Snippets“ und „Knowledge Panels“ zur direkten Beantwortung von Anfragen. Aber KI hat das Potenzial, diesen Prozess zu beschleunigen. Letztes Jahr zeigte das Unternehmen beispielsweise ein experimentelles KI-Modell, das Fragen zu Pluto beantwortete aus der Perspektive des ehemaligen Planeten selbstund in diesem Jahr setzt sich das langsame Rinnsal von KI-gestützten Konversationsfunktionen fort.

Trotz Spekulationen über eine grundlegende Änderung der Suche betont Google, dass alle Änderungen nur langsam erfolgen werden. Als ich Zoubin Ghahramani, Vizepräsident für Forschung bei Google AI, fragte, wie KI die Google-Suche verändern wird, war seine Antwort so etwas wie eine Enttäuschung.

„Ich denke, es wird schrittweise gehen“, sagt Ghahramani. „Das klingt vielleicht nach einer lahmen Antwort, aber ich denke, es entspricht einfach der Realität.“ Er räumt ein, dass es bereits „Dinge gibt, die man in die Google-Box eingeben kann, und man bekommt einfach eine Antwort zurück. Und mit der Zeit bekommt man im Grunde immer mehr von diesen Dingen.“ Aber er achtet darauf, auch zu sagen, dass das Suchfeld „nicht das Ende sein sollte, es sollte nur der Anfang der Suchreise nach Personen sein“.

Laut Ghahramani konzentriert sich Google vorerst auf eine Handvoll Schlüsselkriterien zur Bewertung seiner KI-Produkte, nämlich Qualität, Sicherheit und Bodenständigkeit. „Qualität“ bezieht sich darauf, wie themenbezogen die Antwort ist; „Sicherheit“ bezieht sich auf das Potenzial des Modells, schädliche oder giftige Dinge zu sagen; während „Erdung“ bedeutet, ob das System Informationen erfindet oder nicht.

Dies sind jedoch im Wesentlichen ungelöste Probleme, und bis KI-Systeme handhabbarer sind, sagt Ghahramani, dass Google mit der Anwendung dieser Technologie vorsichtig sein wird. Er betont, dass „es eine große Lücke zwischen dem gibt, was wir als Forschungsprototypen bauen können [and] was dann tatsächlich als Produkt eingesetzt werden kann.“

Eine Differenzierung, die mit einiger Skepsis betrachtet werden sollte. Erst letzten Monat wurde zum Beispiel Googles neueste KI-gestützte „Assistive Writing“-Funktion für Benutzer eingeführt, die sofort Probleme gefunden. Aber es ist klar, dass Google unbedingt möchte, dass diese Technologie funktioniert, und sich vorerst darauf konzentriert, ihre Probleme zu lösen – eine Test-App nach der anderen.


Verwandt:

Leave a Comment