Das hat OpenAI angekündigt dass es nun Drittentwicklern ermöglicht, ChatGPT über eine API in ihre Apps und Dienste zu integrieren, und dass dies erheblich billiger sein wird als die Verwendung seiner bestehenden Sprachmodelle. Das Unternehmen stellt Whisper, sein KI-gestütztes Sprache-zu-Text-Modell, zur Nutzung über eine API zur Verfügung und nimmt einige wichtige Änderungen an den Nutzungsbedingungen für Entwickler vor.
OpenAI sagt, dass seine ChatGPT-API für mehr als nur die Erstellung einer KI-gestützten Chat-Oberfläche verwendet werden kann – obwohl es auch mehrere Unternehmen hervorhebt, die es für diesen Zweck verwendet haben, einschließlich der My AI-Funktion von Snap, die Anfang dieser Woche angekündigt wurde. Das Unternehmen sagt, dass seine neue Modellfamilie mit dem Namen gpt-3.5-turbo das „beste Modell für viele Nicht-Chat-Anwendungsfälle“ ist.
Es ist erwähnenswert, dass das Modell wahrscheinlich nicht dasselbe ist, das Bing verwendet, das Microsoft als „neues, großes OpenAI-Sprachmodell der nächsten Generation“ bezeichnet hat, das „noch schneller, genauer und leistungsfähiger“ ist als ChatGPT und GPT- 3.5. Angesichts dessen, wie viel Geld das Unternehmen in OpenAI investiert hat, ist es jedoch keine Überraschung, dass es Zugang zu Technologien hat, die dem durchschnittlichen Entwickler nicht zur Verfügung stehen. Microsoft ist auch mit einer gesunden Dosis seiner eigenen Technologie für Bing.
OpenAI bietet 1.000 Token für 0,002 US-Dollar an und sagt, das sei „10x billiger als unsere bestehenden GPT-3.5-Modelle“, teilweise dank „einer Reihe von systemweiten Optimierungen“. Während 1.000 wie viel erscheint, ist es erwähnenswert, dass das Senden eines Textausschnitts, auf den die API antworten soll, mehrere Token kosten kann. („Tokens“ sind die Textblöcke, in die das System Sätze und Wörter zerlegt, um vorherzusagen, welcher Text als nächstes ausgegeben werden soll.)
Entsprechend Dokumentation von OpenAI, „ChatGPT ist großartig!“ benötigt sechs Token – seine API unterteilt sie in „Chat“, „G“, „PT“, „is“, „great“ und „!“. Das Unternehmen bietet ein Werkzeug zum Prüfen, wie viele Token benötigt werden, um eine Textfolge zu interpretieren, und sagt, dass eine allgemeine Faustregel lautet, dass „ein Token im Allgemeinen ~4 Zeichen entspricht“ auf Englisch.
Das Unternehmen sagt, dass Entwickler auch eine dedizierte Instanz von ChatGPT erhalten können, wenn sie eine ungeheure Datenmenge über die API ausführen. In seinem Beitrag heißt es, dass Sie dadurch mehr Kontrolle darüber haben, welches Modell Sie verwenden, wie lange es dauern soll, bis Anfragen beantwortet werden, und wie lange Gespräche mit dem Bot dauern können.
Während ChatGPT wahrscheinlich die meiste Aufmerksamkeit auf sich ziehen wird, hat OpenAI auch eine weitere neue API für Whisper, sein Speech-to-Text-Modell, angekündigt. Das Unternehmen sagt, dass Sie damit Audio zu einem Preis von 0,006 $ pro Minute transkribieren oder übersetzen können. Technisch gesehen ist das Whisper-Modell Open Source, sodass Sie es auf Ihrer eigenen Hardware ausführen können, ohne etwas zu bezahlen. OpenAI hat jedoch wahrscheinlich Zugriff auf leistungsstärkere Hardware. Wenn Sie also nach einer schnellen Bearbeitung suchen oder Transkriptionen auf Geräten mit geringerer Leistung wie Telefonen durchführen müssen, ist die Verwendung der API möglicherweise der richtige Weg.
OpenAI kündigt auch einige Richtlinienänderungen an, die angeblich auf Entwickler-Feedback basieren. Ein großer sagt, dass es keine über die API übermittelten Daten mehr verwenden wird, um seine Modelle zu trainieren, es sei denn, die Kunden stimmen dieser Verwendung ausdrücklich zu.
Mit anderen Worten, es geht von einem Opt-out-System zu einem Opt-in-System über. Diese Änderung könnte dazu beitragen, einige Bedenken hinsichtlich des Einfügens proprietärer Informationen in den Bot zu zerstreuen, da einige Unternehmen Mitarbeitern die Nutzung der Technologie vollständig untersagt haben. Wenn es aus Benutzereingaben lernt, wäre es eine schlechte Idee, Geschäftsgeheimnisse einzugeben, da immer die Möglichkeit besteht, dass es diese Daten wieder an jemand anderen ausspucken könnte.
Das Unternehmen sagt auch, dass es an der Verbesserung seiner Betriebszeit arbeitet und dass „die oberste Priorität seines Engineering-Teams jetzt die Stabilität der Anwendungsfälle in der Produktion ist“.
Während mehrere Entwickler Workarounds gefunden haben, um Chat-Dienste in ihre Apps einzubinden – unter anderem durch die Verwendung der regulären GPT-API von OpenAI, die seit einiger Zeit verfügbar ist – scheint die Einführung einer offiziellen ChatGPT-API der Moment zu sein, in dem sich die Schleusen öffnen. Während viele Unternehmen an ihren eigenen KI-Chatbot-Modellen arbeiten, ist so etwas für die meisten Entwickler völlig unerreichbar. Jetzt können sie einfach die Technologie von OpenAI verwenden.
