Wie können lokale KI-Modelle unabhängiger machen – und wann lohnen sie sich wirklich, INGOLF TEETZ?

Wie können lokale KI-Modelle unabhängiger machen – und wann lohnen sie sich wirklich, INGOLF TEETZ?

English version below

In dieser ASK INGOLF Podcast-Episode spreche ich mit Ingolf Teetz, Chief Innovation Officer bei EMBRACE, über ein Thema, das für Unternehmen und private Nutzer immer spannender wird: lokale KI-Modelle. Statt Daten an OpenAI, Anthropic oder andere Cloud-Anbieter zu schicken, laufen lokale Modelle direkt auf der eigenen Hardware. Das kann mehr Datenschutz, mehr Kontrolle und langfristig niedrigere Kosten bedeuten – vorausgesetzt, der Use Case und die notwendige Rechenleistung passen.

Ein Statement von Ingolf ist mir besonders hängen geblieben:

„Wenn ich im Gesamtunternehmen unter 10.000 bis 15.000 Euro an Tokenverbrauch bin, brauche ich darüber eigentlich nicht nachzudenken – es sei denn, ich habe einen zwingenden Grund.“

Unter anderem haben wir über diese Themen gesprochen:

🔐 Deine Daten bleiben bei Dir

Ob Verträge, Rechnungen, Bewerberdaten, Fotos oder andere sensible Informationen: Mit lokalen Modellen kannst Du Daten verarbeiten, ohne sie an externe Cloud-Anbieter zu übertragen – gerade mit Blick auf Datenschutz und DSGVO ein spannender Ansatz.

💸 Wann rechnet sich lokale KI wirklich?

Keine laufenden Tokenkosten klingt erst einmal attraktiv – leistungsfähige Hardware ist allerdings ebenfalls teuer. Ingolf erklärt, warum Skalierung der entscheidende Faktor ist und weshalb Unternehmen Cloud-Kosten, Hardware, Betrieb und Sicherheit gemeinsam betrachten sollten.

🤖 Der eigene KI-„Hausgeist“ rückt näher

Modelle wie Qwen werden inzwischen auch auf Consumer-Hardware erstaunlich leistungsfähig. In Kombination mit lokalen KI-Agenten können sie Dokumente analysieren, beim Programmieren helfen, Dateien organisieren oder sogar das Smart Home steuern – ohne Cloud. Bei großen Softwareprojekten und anspruchsvollen Office-Anwendungen haben Frontier-Modelle allerdings aktuell noch die Nase vorn.

🔗 Weiterführende Links

👉 Ingolf Teetz LinkedIn 👉 ASK INGOLF Spotify Playlist

🎧 HIER HÖREN.

How can local AI models be made more independent—and when are they really worth it, INGOLF TEETZ?

In this ASK INGOLF podcast episode, I speak with Ingolf Teetz, Chief Innovation Officer at EMBRACE, about a topic that’s becoming increasingly exciting for businesses and individual users: local AI models. Instead of sending data to OpenAI, Anthropic, or other cloud providers, local models run directly on a company’s own hardware. This can mean greater data privacy, more control, and lower costs in the long run—provided the use case and the required computing power are a good fit.

One statement from Ingolf really stuck with me:

“If my token usage across the entire company is less than 10,000 to 15,000 euros, I don’t really need to think about it—unless I have a compelling reason.”

Among other things, we discussed these topics:

🔐 Your data stays with you

Whether it’s contracts, invoices, applicant data, photos, or other sensitive information: With local models, you can process data without transferring it to external cloud providers—an exciting approach, especially when it comes to data protection and the GDPR.

💸 When does local AI really pay off?

No ongoing token costs sounds appealing at first—but powerful hardware is also expensive. Ingolf explains why scalability is the decisive factor and why companies should consider cloud costs, hardware, operations, and security together.

🤖 Your own AI “household assistant” is getting closer

Models like Qwen are now becoming surprisingly powerful even on consumer hardware. Combined with local AI agents, they can analyze documents, assist with programming, organize files, or even control your smart home—all without the cloud. For large software projects and demanding office applications, however, frontier models currently still have the edge.

🔗 Further Links

👉 Ingolf Teetz LinkedIn 👉 ASK INGOLF Spotify Playlist

🎧 LISTEN HERE.