Ask Ingolf #7 Wie teuer darf's denn sein Der deepseek Schock und die Folgen - 21.02.25, 16.40

Transkribiert von TurboScribe.ai. Upgrade auf Unbegrenzt, um diese Nachricht zu entfernen.

Herzlich willkommen zu Ask Ingolf, der Saatkorn-Podcast-Serie zum Thema künstliche Intelligenz, Ingolfthets und Geoways. Hallihallo und herzlich willkommen zu Ask Ingolf. Letztes Mal noch fleißig über Filme, Bücher, Serien geredet und heute ist natürlich ein Thema, wer so ein bisschen die Presse rund um KI verfolgt, der ahnt ja wahrscheinlich schon, um was es geht, auch wenn das Thema an sich fast schon wieder durch ist.

Ich rede natürlich von DeepSeek. Sollten wir da trotzdem mal drüber reden, lieber Ingolf? Wie siehst du das? Ja, auf jeden Fall. Erstmal hallo, freut mich, dass ich wieder da bin oder wir wieder da sind.

Und da sollte man auf jeden Fall nochmal drüber reden, weil das ist nach wie vor irgendwie ein super spannendes Thema, weil sich daraus noch ein paar mehr Sachen, glaube ich, ergeben werden in der Zukunft. Und das auch schon Auswirkungen hat so ein bisschen auf Geschäftsmodelle der anderen Protagonisten in dem Bereich. Ja, jetzt bin ich gespannt.

Also ich denke, dass alle das mitgekriegt haben. Laienhaft fasse ich mal so zusammen. Donald Trump kommuniziert mit stolz geschwellter Brust sein Stargate-Projekt, wo 500 Milliarden Dollar reingepumpt werden sollen in einer Pressekonferenz, wo die drei großen KI-Anbieter verkörpert durch ihre jeweiligen CEOs im Hintergrund stehen, sollen 500 Milliarden Dollar investiert werden, mindestens 100.000 Arbeitsplätze entstehen.

Und einen Tag später geht DeepSeek viral mit der Aussage, wir haben das für schlappe 5 Millionen auf die Beine gestellt. Das ist jetzt total laienhaft und holzschnittartig und, ich glaube, völlig stark vereinfacht. Aber das ist trotzdem wahrscheinlich das, was bei vielen Menschen, die jetzt mit dem Themenfeld sich nicht dauernd beschäftigen, erst mal so im Kopf hängt.

Wobei, sagen wir mal, die Kosten, finde ich, sind gar nicht das Entscheidende dabei. Das Entscheidende, was DeepSeek dabei gemacht hat, ist, dass sie das aktuellste Modell, das wirklich mit Google, Gemini, mit CGPT 4.0, Latest Version, mit O1, mit Croc von X, mithalten kann, als Open Source-Modell veröffentlicht hat. Das hat nämlich sonst kein anderer gemacht.

Und das zielt ganz brutal auf das Geschäftsmodell der amerikanischen Mitbewerber. Ob die für die Herstellung so und so viel nur gebraucht haben oder doch im Hintergrund irgendwie eine ganze Menge an Hardware hatten und das Zehnfache oder meinetwegen sogar so Hundertfache gebraucht hätten, das ist, finde ich, fast nebensächlich. Das Brutale, in Anfangstrichen, ist die Veröffentlichung des gesamten Modells als Open Source.

Okay, das musst du den Laien genauer erklären. Also ich würde das jetzt mal so übersetzen, Open Source ist, dass jeder sozusagen mit dem Code arbeiten kann, das in seine eigenen Produkte einbauen kann und somit DeepSeek direkt nutzbar machen kann oder veredeln kann, in Anführungsstrichen, mit eigenen Funktionen. Gar nicht, also vielleicht nicht mal unbedingt veredeln, aber nutzen.

Und ich kann mir das, das sind immer noch, um das zu betreiben, also um das mal runter, um das mal zu sagen, dieses DeepSeek R1-Modell, was so mit den anderen Großen auch wirklich mithält, um das zu betreiben, brauche ich, glaube ich, so um die 710, 720 Gigabyte an Speicher und zwar an Speicher in Grafikkarten, also in Beschleunigern. Das ist, wenn man die, sag ich mal, kaufbaren Dinge so zugrunde legt, sind das so 16 Nvidia H100 Karten oder sowas mit jeweils 80 Gigabyte. Da zahle ich, also da kommt man irgendwo bei 300.000 K plus raus für so eine Maschine, um das zu betreiben.

Aber ich kann für 300.000 plus eine voll konkurrenzfähige KI-Lösung betreiben mit einem ganz großen Language-Model mit Reasoning, das wirklich komplett konkurrenzfähig ist zu dem, was ein Open AI betreibt. Und das ist schon ein Brett. Lasst uns da mal der Reihenfolge nach so durchgehen.

Da gibt es ja erstmal verschiedene Schichten, sozusagen, die man vielleicht betrachten muss. Fangen wir einfach erstmal mit der Qualität an sich an. Du sagst jetzt, das ist konkurrenzfähig zu den anderen Modellen, wie beispielsweise Chat-GPT.

Man hört ja auch immer, dadurch, dass es in China programmiert wurde, dass kritische Fragen in Bezug auf China nicht beantwortet werden von dem Tool. Also es fängt an, eine Antwort zu geben, bricht aber direkt ab und sagt, ah nee, wollen wir nicht lieber über was anderes sprechen. Das ist nur in der Version, die quasi in China gehostet wird, wenn ich mir die App runterlade.

Wenn ich das in Anführungsstrichen lokal betreibe, also auf so einer Möglichkeit, wie ich gerade genannt habe, oder irgendwo kann ich das auch einfach in der Cloud installieren, hauptsache ich komme auf diese Speicher. Dann kommt da auch zum Tiananmen-Platz eine vernünftige Antwort zurück. Also wird auch nicht abgebrochen.

Es wird erzählt, dass es zwei Sichtweisen auf diese Ereignisse gibt oder dieses Massaker gibt. Nämlich die offizielle chinesische und die der restlichen und der westlichen Welt. Das wird einem da alles ziemlich erläutert.

Also es versucht sehr ausgleichend zu sein, wo ich jetzt sagen würde, wo man nicht ausgleichend sein muss. Aber es ist nicht so, dass dann da an der Stelle abgebrochen wird. Das passiert tatsächlich nur in der gehosteten Lösung, wenn man sich die App runterlädt oder wenn man direkte Webseite von dem jetzigen Betreiber aufruft.

Okay, das ist insofern ganz interessant, weil deine Begeisterung, die man deiner Stimme ja eben entnehmen konnte für die sozusagen eigen gehostete Open Source-Lösung, ist ja eine andere Betrachtungsweise. Das ist die Betrachtungsweise desjenigen, der sagt, super geil, ich baue damit jetzt was. Und damit kann ich deine Begeisterung natürlich verstehen, wenn man dich so ein bisschen besser kennt.

Der gemeine HR-User ist natürlich eher der oder diejenige, die sich halt mit der Chat-GPT-Version befasst oder eben mit einer in China gehosteten Deep-Seek-Version. Also da muss man in der Tat dann hingucken. Wenn man es aber als Entwickler selbst Open Source-mäßig nutzt und selbst hostet, dann sagst du, ist es absolut vergleichbar mit den US-Modellen, die es so im Markt gibt.

Ja. Ich weiß nicht, ob du das kennst. Es gibt so eine Webseite, die heißt lmarena.ai. Nee, kenne ich nicht.

Da kann man im Blindversuch quasi zwei Chatbots oder GPTs gegeneinander antreten lassen. Und man bewertet dann immer hinterher, welches Ergebnis einem besser gefallen hat. Ach, das ist ja cool.

Okay. Und dort rangiert Deep-Seek auf Rang 5. Im Moment führt Grok 3 tatsächlich. Dann kommen zwei Gemini-Modelle, dann kommt Chat-GPT 4.0, dann kommt R1 von Deep-Seek und dann geht es so weiter.

Aber das geht bis runter bis Platz, weiß ich nicht, 100 oder sowas. Also das sind schon eine ganze Menge. Und das ist definitiv zum Beispiel besser als das, was Meta als Open-Source-Lösung veröffentlicht, das Lama-Modell von Meta.

Also das spielt einfach mit in der oberen Liga. Ja, faszinierend. Ich bin gerade auf lmarena.ai, werde ich in den Shownotes natürlich mit reinbringen.

Ich kannte das nicht. Finde ich mega spannend auf jeden Fall. Das ist immer so ein Blindversuch sozusagen, über das das Ranking festgelegt wird.

Ja, cool. Habt ihr bei mich und Zucker selbst schon jetzt Erfahrungen damit gemacht oder nicht? Wie ist da deine praktische Erfahrung mit Deep-Seek? Also wir haben eine Eigeninstallation. Bei Azure kann man das relativ günstig im Moment anmieten, die sozusagen außerhalb gehostete Lösung.

Wenn du das exklusiv im Moment machst, dann bezahlst du halt in der Cloud für Maschinen mit so viel Speicher natürlich auch richtig ordentlich Geld. Es gibt auch, und das ist jetzt aber dann eher für Bastler ein Trick, dass man das nicht im Grafikspeicher laufen lässt, also nicht die teuren Grafikkarten für 300.000 kauft, sondern sich einen gebrauchten Server mit einem Terabyte Hauptspeicher zulegt. Den kann man so zwischen 1.500 und 2.500 Euro kriegen.

Da kriegt man das auch drauf installiert mit ein bisschen Fummeln. Und dann hat man sozusagen so ein Riesenmodell unterm Schreibtisch stehen, wenn man das Geheule eines solchen Servers aushält. Also, aber das ist schon sehr, ich bin gerade dabei.

Also das ist ein Riesenabenteuer. Man hört das. Es scheint sehr verführerisch auf jeden Fall zu sein.

Okay, was heißt das dann eigentlich für das Thema KI, wo man bisher ja gedacht hat, dass man nur mit sehr, sehr, sehr viel Geld und Entwicklungspower und auch immensem Trainingsaufwand sowas auf die Beine stellt. Also stellt das wirklich alles in Frage? Nee, ich glaube, das stellt das überhaupt nicht in Frage. Was das in Frage stellt, ist, ob man nicht eigentlich, also man sieht ja, es plöppen immer mehr Modelle auf dem Markt.

Also man muss ja auch sagen, dass das ein X, also eben als Twitter, auch relativ spät damit angefangen hat. Und man kann auch ganz klar sagen, ab 2018 etwa, stand erst mal überhaupt so viel Hardware und Rechenpower zur Verfügung mit den entsprechenden Nvidia-Chips, dass man das überhaupt machen konnte. Vorher war die Theorie da, aber es hat alles noch nicht richtig funktioniert, weil man halt nicht, man hatte die Rechenpower nicht.

Jetzt ist die Rechenpower da, die wird immer günstiger. Und es werden immer mehr Modelle. Also natürlich kann auch sein, dass R1 da wirklich irgendwie ein Destillat von Jet TPT gemacht hat oder wie auch immer.

Ich möchte auch nicht wissen, ob man in China sehr viel Respekt vor Copyright der Daten gehabt hat, die man da zum Training genutzt hat. Wobei ich das mal so in den Raum stellen mag, ob das bei OpenAI am Anfang der Fall war, zumindest am Anfang glaube ich auch nicht. Also die Möglichkeiten sind einfach inzwischen da, das zu machen.

Und ja, Punkt, ist zu machen. Was heißt das dann sozusagen für diese gesamte Szene? Also welche Implikationen wird das haben nach vorne raus? Also dadurch, dass das, das setzt natürlich jetzt die anderen Anbieter teilweise auch unter Zugzwang, sehr schnell, vielleicht nicht ihr latest Model sozusagen, aber viele eventuell als Open Source zu veröffentlichen. Wenn die Psyc weiterhin diesen Weg geht, bedeutet das, ich kann tatsächlich vielleicht wirklich auch große Large Language Models in meine Technologie mit einbacken und sagen, ja, und dann habe ich auch keine großen Datenschutzthemen mehr.

Auch das betrifft jetzt wieder HR Tech, weil ich irgendwelche Lebensläufe irgendwo hinsticke zum Matchen oder sowas. Die gehen dann eben halt nicht in die USA oder die gehen nicht nach China, sondern die bleiben in meinem Rechenzentrum, wenn ich das möchte. Also das eröffnet einfach sehr viel Möglichkeiten, weil die Rechenpower halt immer mehr wird und ich im Endeffekt ein ziemlich großes Modell unterm Schreibtisch stehen haben kann irgendwann.

Wenn man das jetzt im Kontext mit dem EU AI Act betrachtet, wäre das in der Tat dann eine große Erleichterung? Da sind Large Language Models ja nochmal anders, glaube ich, auch drin betrachtet, aber das wäre zumindest, glaube ich, von der Datenschutzrichtung her und Datensicherheitsrichtung wäre es eine sehr große Erleichterung, alles was das GVO betrachtet angeht. EU AI Act ist halt immer noch so schwammig, dass das, glaube ich, spannend wird, wie das dann betrachtet wird, wenn ich ein Large Language Model eben nicht mehr nur, weil darauf ist das Gesetz eigentlich davon ausgegangen, dass es da diesen großen zentralen Anbieter gibt, der schon dafür sorgen wird, dass das alles gut ist. Und jetzt habe ich plötzlich die Möglichkeit, dass ich auf diesen großen zentralen Anbieter gar nicht mehr zurückgreifen muss für ein Large Language Model, sondern das bei mir im Heimrechenszentrum betreibe.

Ich bin mal gespannt, ob das nicht dann sogar Auswirkungen auf das Gesetz haben wird. Das Gesetz ist ja jetzt gar nicht unser Thema heute. Wir haben da ja vor einigen Folgen schon drüber gesprochen.

Es ist ja gültig, aber wird gerade auf lokales Recht quasi übersetzt. Das ist ja Status Quo da, oder? Ja, genau. Und ich hoffe, dass man diese neuesten Entwicklungen oder neueren Entwicklungen da mit einbezieht.

Ja, da ist es übrigens auch nochmal spannend, denke ich, gerade in dem Kontext, wie wir sprechen jetzt zwei Tage vor der Bundestagswahl, wie das Ganze ausgeht. Die Parteien stehen dem Ganzen ja nicht alle gleich gegenüber. Ja.

Und da gibt es ja teilweise eine sehr progressive Sichtweise, also dass wir KI möglichst umfassend nutzen, was ich für den richtigen Weg halten würde. Ich bin mal ganz gespannt, was dabei rauskommt. Gut, das am Rande.

Dann in diesem ganzen Kontext, DeepSeek, ist ja dieser Riesen-Kursrutsch von Nvidia auch passiert. Ordnet das doch bitte mal ein. Ich glaube, inzwischen haben die sich wieder ein bisschen erholt.

Die haben sich fast vollständig erholt, würde ich sagen. Das war, glaube ich, so im ersten Moment diese Angst, oh Gott, oh Gott, das kann ich mit viel, viel weniger Rechenpower machen. Wie gesagt, das hat, glaube ich, sich so ein bisschen relativiert, weil wenn die halt irgendwie einen Weg gefunden haben, die Sanktionen zu umgehen und doch an mehr Rechenpower dran zu kommen und mehr Prozessoren, die sie eigentlich gar nicht haben dürften, glaube ich, hätte ich das an DeepSeek-Stelle auch nicht unbedingt ganz öffentlich gemacht.

Und das war, glaube ich, so der erste Schock da. Ich sehe, wie gesagt, eigentlich sogar in dem Effekt, dass ich im Moment für, wie gesagt, das ist für den Privatbrauch immer noch teuer. Aber wenn ich sage, ich stelle mir da ein System für 300.000 bis 500.000 Euro hin und habe damit als Unternehmen meine eigene, komplett in meiner Hoheit liegendes Sprachmodell, das hat, glaube ich, sogar eher einen positiven Effekt auf Nvidia, weil plötzlich das Ding in die Breite geht und das nicht nur ein paar Rechenzentren sind.

Spannend. Wir werden sehen, wie sich das Ganze entwickelt. Was sind so deine Mutmaßungen, wenn sich diese Open-Source-Thematik durchsetzt, gerade auf HR Tech bezogen? Du hast es ja eben schon mal ein bisschen angesprochen, aber vielleicht kannst du noch einmal zusammenfassen, was du für die gerade auch Entwicklung im deutschen Markt so erwartest.

Also ich glaube, dass das nochmal einen richtigen Entwicklungsschub geben wird, weil dann kriege ich nicht nur so von Matching-Geschichten, aber die ganze Datenauswertung, das ganze Thema, sowas wie CV-Parsing und Ähnliches über solche Modelle abzudecken. Das kann ich mir, wie gesagt, das kann ich mir jetzt selber ins Rechenzentrum stellen, wenn ich das möchte und ab einem bestimmten Volumen lohnt sich es dann auch. Und da wird sich, glaube ich, das wird nochmal enorm viel beschleunigen, auch was die Nutzung von Agenten angeht.

Da haben wir ja auch schon mal drüber gesprochen in der Software. Die müssen dann auch nicht mehr nach draußen gehen, sondern die können dann wirklich, wenn die lokal arbeiten, auch mit Mitarbeiterdaten arbeiten. Und ich muss nicht irgendwelche Verrenkungen machen, dass ich dann doch Mitarbeiterdaten nach außen fließen lasse.

Ich habe, glaube ich, einen ganz anderen Hebel, da eventuell mit Bestimmungen zu reden und so weiter und so fort. Also da wird sich, da wird nochmal, das wird einen ziemlichen Ruck geben. Super.

Also als alter Optimist sage ich, massenweise Chancen, die dadurch entstehen und massenweise vielleicht auch neuer Angang von Geschäftsmodellen. Wir werden es erleben. Ich danke dir erstmal ganz herzlich für die Einordnung.

Ich habe versucht, das so zu framen, wie das wahrscheinlich viele aus der Presse erstmal entnommen haben, die jetzt nicht tief in der Szene drin sind und denken, aha, okay, geht alles viel billiger. Ist ganz gut, wenn du das nochmal gerade rückst. Und ich glaube, was das Training angeht, das hast du am Anfang so ein bisschen gesagt, das ist gar nicht der Hauptpunkt.

Aber die Frage ist ja schon, wie viel Geld muss ich investieren zum Trainieren? Ja. Und da war, glaube ich, nicht so ganz klar, wie viel Training. Das ist nicht, das ist, also da gibt es widersprüchliche Aussagen inzwischen und man geht davon aus, dass es eigentlich schon ne ganze Menge mehr war.

Wie gesagt, bloß eventuell auf Hardware, wo nicht ganz sicher ist, wie die den Weg in die Volksrepublik China geschafft hat. Aber was ich vielleicht nochmal am Schluss sagen will, wir Europäer sollten uns halt natürlich jetzt hier eigentlich auch ranhalten, weil das ist trotzdem keine riesen Summen mehr, die man da einsetzen muss. Was man braucht nach wie vor für ein gutes Thema, ist viel Content.

Und eigentlich haben wir den Content natürlich in Europa auch, bloß wir müssten uns dann eigentlich zusammenraufen und sagen, wir bauen unser europäisches Modell und das nutzen wir hier auch in Europa, weil ich glaube, die aktuellen politischen Entwicklungen kann man durchaus jetzt sagen, China und USA geben sich gerade beide Mühe, dass man darüber nachdenkt, selber was zu haben. Und das ist eigentlich das Gute an dieser verfahrenen Situation. Auch da wieder, wenn der Druck nicht so entstünde, der ist ja jetzt beileibe nicht nur bei der Technologie so, sondern wenn man über Krieg und Frieden nachdenkt, Waffen und so weiter, eigentlich geht es um die Selbstbehauptung von Europa in jedweder Hinsicht.

Und das spiegelt sich eben auch in diesem Thema wieder. Und dafür müssten wir halt unseren Content in Anführungsstrichen zusammenschmeißen und wenn du dann ein europäisches Modell hättest, was jeder benutzen kann, das würde echt Entwicklungen nochmal ganz anders beschleunigen. Und es wäre ein Treppenwitz der Geschichte, wenn das ausgerechnet mit einem aus China stammenden Open Source Code entstehen würde.

Ja, das kann man so sehen. Ja, das ist auch ein schönes Schlusswort. Ich danke dir ganz herzlich, Ingolf und freue mich, wenn wir unser AI-KI-Gespräch demnächst wieder fortsetzen.

Das war die erste Folge Ask Ingolf. Lasst uns doch wissen, wie ihr diese Folge fandet. Könnt ihr gerne bewerten, beispielsweise bei Spotify.

Aber viel wichtiger noch, sagt mir doch einfach mal Bescheid, welche Themen wir als nächstes im Kontext AI hier besprechen sollen. Meldet mir dazu einfach an saatkorn.googlemail.com oder über LinkedIn einfach mein Profil Gero Hesse. Ich freue mich auf euer Feedback.

Bis dann. Ciao.

Transkribiert von TurboScribe.ai. Upgrade auf Unbegrenzt, um diese Nachricht zu entfernen.