Sehen Sie sich die On-Demand-Sessions vom Low-Code/No-Code Summit an, um zu erfahren, wie Sie erfolgreich innovativ sein und Effizienz erreichen können, indem Sie Citizen Developer weiterbilden und skalieren. Schau jetzt.


Generative KI und LLMs waren zwei der heißesten Themen auf der NeurIPS 2022, die die KI- und ML-Community zum ersten Mal seit 2019 wieder persönlich zusammenbrachte und „viel Spannung geboten hat“, sagte Alice Oh, Professorin an der Korea Advanced Institute of Science and Technology und leitender Programmvorsitzender der Konferenz.

Ein Teil dieser Aufregung mag der Klang von Tausenden von Tastaturen gewesen sein, die die ChatGPT-Demo von OpenAI ausprobierten, die am Mittwoch veröffentlicht wurde und seitdem auf Twitter, wenn nicht sogar auf NeurIPS, von sich reden macht.

Aber die Konferenz und der Workshop zu neuronalen Informationsverarbeitungssystemen, eine Konferenz zu maschinellem Lernen und rechnergestützten Neurowissenschaften, die jedes Jahr im Dezember in New Orleans stattfand, hatte sicherlich viel eigene Begeisterung. Laut Konferenzleitern waren über 10.000 persönlich anwesend, weitere 3.000 schalteten sich online ein. Noch vor einem Jahrzehnt zog die Veranstaltung weniger als 2.000 an.

Darüber hinaus wurden bei NeurIPS über 2.900 Beiträge aus satten 9.634 Einreichungen zu Themen angenommen, die von neuronalen Netzen und Visionstransformation bis hin zu föderiertem Lernen und Offline-Verstärkung reichen.

Vorfall

Intelligent Security Summit

Lernen Sie am 8. Dezember die entscheidende Rolle von KI und ML in der Cybersicherheit und branchenspezifische Fallstudien kennen. Registrieren Sie sich noch heute für Ihren kostenlosen Pass.

Jetzt registrieren

NeurIPS konzentrierte sich wie üblich stark auf theoretische Aspekte des maschinellen Lernens, sagte Oh, einschließlich der Entwicklung effizienterer und genauerer Algorithmen für maschinelles Lernen. Aber auch Large Language Models (LLMs), Diffusionsmodelle und generative KI seien ebenso heiße Trendthemen wie Reinforcement Learning – das seit einigen Jahren ein Top-Thema sei, erklärte sie.

„Wenn Sie zu den Postersitzungen gehen, ziehen die generativen KI-Modelle die Leute an, denke ich, nicht nur, weil die Forschung gut ist, sondern auch, weil es Spaß macht, sie anzusehen und darüber zu sprechen“, sagte sie.

Zu den Gewinnern von NeurIPS gehörten MineDojo und Google Imagen

Bei NeurIPS gab es dreizehn herausragende Papierempfänger, darunter zwei von Nvidia – von denen einer beschrieben wurde MineDojoein generalistischer KI-Agent, der Aktionen von schriftlichen Eingabeaufforderungen in Minecraft ausführen kann.

Google AI gewann für einen Artikel über sein großes Text-zu-Bild- und Superauflösungs-Diffusionsmodell Imagen, das fotorealistische Bilder erzeugt.

Das Allen Institute for AI erregte Aufmerksamkeit für seinen Artikel über ProcTHOR, ein Framework, das interaktive 3D-Umgebungen generiert, die zum Trainieren von verkörperter KI verwendet werden. Es erfordert den zeit- und ressourcenintensiven Prozess, neue virtuelle Umgebungen zu erstellen, in denen intelligente Maschinen trainiert werden, und erstellt prozedural Tausende von ihnen – was beispielsweise Auswirkungen auf die Zukunft von Heimrobotern hat.

Eines der Siegerpapiere, Gradient Descent: Der ultimative Optimiererwurde von MIT CSAIL und Meta-Forschern verfasst, darunter Erik Meijer, der das 50-köpfige Wahrscheinlichkeitsteam von Meta leitete, das Anfang November entlassen wurde.

Geoffrey Hinton sagt, die Zukunft der Computer sei analog

In einer abschließenden virtuellen Keynote bei NeurIPS am Donnerstag sagte Geoffrey Hinton dem Publikum – wie er VentureBeat im September sagte – dass die Zukunft des Computing analog ist.

„Ich denke, dass wir einen völlig anderen Computertyp sehen werden, nicht erst in ein paar Jahren, aber es gibt allen Grund, diesen völlig anderen Computertyp zu untersuchen“, sagte er.

Diese neuen „sterblichen“ Computer werden herkömmliche digitale Computer nicht ersetzen. „Es wird nicht der Computer sein, der Ihr Bankkonto verwaltet und genau weiß, wie viel Geld Sie haben“, sagte er. “Es wird verwendet, um so etwas wie GPT-3 für einen Dollar in Ihren Toaster zu stecken, so dass Sie mit ein paar Watt mit Ihrem Toaster sprechen können.”

Hinton wurde gebeten, im Rahmen des „Test of Time“-Preises der Konferenz zu sprechen, der den 10. Jahrestag und die „große Wirkung“ von „ImageNet-Klassifizierung mit Deep Convolutional Neural Networks“, das zusammen mit seinen Doktoranden Alex Krizhevsky und Ilya Sutskever verfasst und 2012 veröffentlicht wurde. Das Papier, das als Beginn der Deep-Learning-„Revolution“ gilt, war das erste Mal, dass ein Convolutional Neural Network auf menschlicher Ebene im ImageNet antrat Wettbewerb zur Bilderkennung.

Hinton veröffentlichte auch ein neues Papier, Der Forward-Forward-Algorithmusdie er erklärte, biete einen neuen Ansatz für neuronale Netze, der als Forward-Forward-Netzwerk bezeichnet wird und sich von der Backpropagation entfernt, die in fast allen neuronalen Netzen verwendet wird.

„Ich denke, es kann etwas wirklich Neues und Bedeutendes sein“, sagte Oh über Hintons neue Veröffentlichung. „Wir müssen sehen, wir müssen ihm etwas Zeit geben, damit die Leute es verdauen und versuchen, es zu replizieren und Verbesserungen vorzunehmen.“

Ethische KI war „wirklich groß“, plus Branchenmitnahmen

Ethische KI-Themen standen auch in der ersten Woche von NeurIPS im Vordergrund, sagte Oh, wobei die meisten eingeladenen Redner die ethischen und sozialen Auswirkungen von KI berührten. Diese enthielten London Nelsonder das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses leitet, spricht über den Entwurf für eine KI-Bill of Rights.

Insgesamt gebe es einige Themen, die für die Industrie besonders relevant seien, sagte Oh. „Eines davon ist Reinforcement Learning, das von der Industrie aufgrund von Daten- oder Effizienzproblemen nur sehr langsam aufgegriffen wurde, aber ich denke, es wird langsam aber sicher in der Industrie angewendet – auf selbstfahrende Autos, Roboter oder sogar natürliche Sprache Verarbeitung – wo Verstärkungslernen verwendet werden könnte, um Zustände besser vorherzusagen.“

Sie sagte auch, dass kleinere, effiziente Modelle ein wichtiges NeurIPS-Thema seien, das für Unternehmen wichtig sein wird, die nicht über die Rechenressourcen von Google, Meta oder Amazon verfügen.

„Ich denke, ein wirklich interessanter Aspekt der Forschung, der angewendet werden kann, ist die Destillation von Modellen, wie das Komprimieren der Modelle, um sie klein zu machen, oder das Übertragen von Lernen – um einen Bereich mit vielen Daten zu nehmen und ihn dann auf einen Bereich anzuwenden, in dem Sie es nicht tun Ich habe nicht so viele Daten“, sagte sie. „Das ist etwas, das schon eine Weile so ist und sehr relevant sein wird.“

Die Mission von VentureBeat soll ein digitaler Marktplatz für technische Entscheidungsträger sein, um sich Wissen über transformative Unternehmenstechnologie anzueignen und Transaktionen durchzuführen. Entdecken Sie unsere Briefings.

Leave a Comment