Preview: WINA Konferenz

VON Dr. Wolf SiegertZUM Samstag Letzte Bearbeitung: 6. Juli 2025 um 23h02minzum Post-Scriptum

 

WINA: WEIGHT INFORMED NEURON ACTIVATION FOR ACCELERATING LARGE LANGUAGE MODEL INFERENCE

© https://arxiv.org/abs/2505.19427

Microsoft stellt die effizienteste KI aller Zeiten vor (ahmt menschlichen Geist nach) [1]

. 

Hintergrund dieser Entwicklung ist der Versuch von Microsoft, sich von dem mit Milliarden finanzierten Partner OpenAI mehr und mehr abzulösen, ihn zu einem "frienemy" zu machen.

Es wird neben dem hier angekündigten Modell für das zukünftige Microsoft AI - MAI - aus dem eigenen Haus verstärkt Versuche geben, die Algorithmen und vor allem die AI-gesetzten Vorhersagen aus sogenannten Believe State Transformer - BST - Modellen abzuleiten. Ein solches Verfahren bezieht sich nicht länger nur auf in der Vergangenheit gesammelte Daten, sondern auf Vorhersagen, und deren Bedeutung für zukünftige Entwicklungen [2] [3].

Damit erhalten selbst im eigenen Kontext seit mehr als einem Jahrzehnt gestellte Fragen wie die nach den vermeintlich grössten Herausforderungen n a c n der Digitalisierung eine endgültig neue Qualität.

In der Online-Welt des digitalen Massenkonsums tauchen aber immer mehr "Meldungen" auf, wie beispielsweise diese vom Sonntag, den 6. Juni 2025, auf msn [4]

P.S.

So spannend das hier vorgelegte Paper auch ist, so erschreckend ist - einmal mehr - die Umsetzung dieses Themas nicht nur im Wording, sondern auch in der Grafik: Diese nicht enden wollende Flut von Abbildung von Maschinen, die möglichst wie Menschen aussehen sollen...

... es ist erschreckend, wie diese einst "digital turks" genannten Darstellungen uns die Illusion der Menschähnlichkeit einer Maschine nahebringen wollen.

Dazu Steve Jones in Medium vom 8. Jänner 2024 :
Building an LLM Digital Turk

Anmerkungen

[1] 

Microsoft und führende Forscher stellten WINA vor, eine neue KI-Methode, die die Effizienz steigert, indem sie unnötige Neuronen abschaltet, ohne das Modell neu zu trainieren. Getestet an Modellen wie Llama 3 und Phi 4, reduzierte WINA die Rechenkosten um über sechzig Prozent und blieb dabei genauer als frühere Methoden wie TEAL. Dieser Durchbruch zeigt, dass große Sprachmodelle jetzt schneller, billiger und intelligenter laufen können, indem sie dynamisches Neuron-Gating basierend auf der Gewichtsstärke verwenden.

[2] was kulturwissenschaftlich bedeuten würde, dass endlich auch jene Sprachen zur Geltung kommen, die von rechts nach links gelesen werden - sic!

[3] 

In dem Text von Viktor Mayer-Schönberger ist u.a. zu lesen:

Im Getöse der vollmundigen Versprechen der KI-Revolution zu technischem Fortschritt wird stets übersehen: KI-Systeme sind in ihrem Wesen nicht der Zukunft zugewandt, sondern im Wortsinn konservativ. Ihr Blick ist in die Vergangenheit gerichtet, denn sie lernen ja nur aus dem, was war. Wie sollte es anders sein? Die Zukunft aber ist ein datenfreier Raum. KI-Modelle werden mit maschinenlesbaren Informationen von gestern trainiert, um Antworten auf die Herausforderungen von morgen zu finden.

Heute ist KI Teil des Problems, dass politische Diskussionen, wie sie im Vormärz geführt wurden, gar nicht mehr stattfinden. Sie ist eher Bestandteil einer Depolitisierung der Öffentlichkeit als dass sie uns Lösungen für die Zukunft errechnen könnte. Sie ist ein Hoffnungswert, der den Blick auf das Wesentliche verstellt. Wir kennen keine Patentlösungen für unsere aktuellen Pro­bleme. KI, mit ihrem beschränkten Blick ins Gestern, wird sie nicht für uns finden, auch wenn die Ingenieure, Finanziers und Plattformbetreiber das immer wieder behaupten

[4] Der Kontext wird gesetzt von einer Reihe weiterer Videos, die zum gleichen Zeitpunkt einsehbar sind, wie zum Beispiel - hier nur als Screenshot dokumentiert - diese hier:

3305 Zeichen