Mit AnythingLLM sichern Sie die vertraulichen Daten

Dieses Bild hat ein leeres Alt-Attribut. Der Dateiname ist itunes_badge_md-300x110.png

Einführung

Schön, dass Sie wieder mit dabei sind bei einer weiteren Episode von Digital 4 Productivity. Und ich werde ganz oft gefragt, gefragt: Was ist denn, wenn ich jetzt KI zwar nutzen möchte, aber ich hochvertrauliche Informationen habe, wie personalbezogene Informationen, wie wirklich Firmengeheimnisse? Wie kann ich das denn machen, dass das nicht an OpenAI, den Anbieter von ChatGPT, oder an Google, den Anbieter von NotebookLM und Gemini beispielsweise, zurückgemeldet wird, dass meine Informationen für Wettbewerber dann dort sind. Also da gab es auch schon den einen oder anderen Fall, wo dann Informationen von anderen Informationen auf einmal verfügbar waren in KI-Modellen, weil die Modelle gerne damit trainiert werden.

Hintergrund – Datensicherheit auf sozialen Netzwerken

Ja, mehrere Punkte dazu. Zum einen die Social-Media-Plattform, wie LinkedIn wie Ex-Twitter mittlerweile X“, ändern gerade alle so ein Stück weit auch ihre Geschäftsbedingungen und das machen die so heilig, still und leise. Und der Default wird immer mehr, dass sie dem zustimmen, dass ihre Daten, die Sie bei Social Media öffentlich posten, die auch zum Trainieren der KI-Modelle genutzt werden. Hier sollten Sie immer darauf achten, dass Sie die Opt-Out-Funktion nutzen, dass Sie bei Facebook, bei LinkedIn, bei Twitter, also X“, reingehen und immer gucken: Okay, wo kann ich gegebenenfalls noch mal ausopten?

Und wir packen Ihnen gerne auch die Links in die Show-Notes, die Sie natürlich immer gerne auch bei digital4productivity. De kriegen. Oder Sie schreiben mir eine E-Mail an t. Jekel@jekelteam. De und dann kriegen Sie gerne von mir die entsprechenden Links. Also da sollte man schon mal ein bisschen aufpassen.

Microsoft 365 – Datensicherung im CoPilot

Das nächste Thema ist, wenn Sie Microsoft 365 einsetzen, dann gibt es ja die Möglichkeit, den Copilot als extra Lizenz mitzubuchen. Und hier haben Sie eben dann noch mal die Zusicherung von Microsoft, dass diese Daten in Ihrem Tenant dort entsprechend bleiben. Dann ist die Frage: Vertrauen Sie Microsoft? Jetzt gibt es aber auch noch die nächste Variante, dass Sie sagen, Sie arbeiten mit Diensten, mit denen Sie eben lokal, im Extremfall sogar ohne eine Internetverbindung, offline mit KI-Tools arbeiten können. Die gute Nachricht: Es gibt viele der KI-Modelle dieser Large-Language-Models, also der großen Sprachmodelle. Die gibt es auch Open Source, also die kann man sogar kostenfrei sich entsprechend runterladen und kann sie dann offline auch nutzen. Und hier gibt es verschiedene Systeme. Ich werde in einer nächsten Episode Ihnen einmal ein ganz spannendes Interview mit dem Team von SchneiderAI einmal einspielen. Ein ganz spannendes Start-up in München, die sich eben damit beschäftigen, zu sagen: Wie kann ich auf der einen oder anderen Variante mit einer deutschen Cloud, aber sogar bis hin, dass ich als Anbieter einen fertig konfigurierten PC zur Verfügung stelle, die sogenannte KI-Box. Und das ist so die Idee von SchneiderAI. Das schauen wir uns in einer der nächsten Episoden an.

Die Idee hinter AnythingLLM

In dieser Episode möchte ich Ihnen einmal erzählen über AnythingLLM. Sie finden das unter anythingllm. Com. Link ist wie immer auch in den Show-Notes mit dabei. Und die Idee ist, Sie können sich dort eine Software herunterladen und das hat mehrere Vorteile gegenüber anderen vergleichbaren Lösungen. Ich habe von diesen Lösungen bestimmt schon 20-30 getestet. Sie wissen, ich lasse mir ja von dem Nichtschwimmer auch nicht erklären, wie ich schneller schwimmen kann. Und vor dem Hintergrund probiere ich immer alle Lösungen aus, bevor ich sie Ihnen dort empfehle. Und Sie können eben die ganzen Fehlversuche, die ich gemacht habe, können Sie sich sparen. Ich bin praktisch die digitale Abkürzung. Das digitale Drüffelschwein, sage ich immer, oder der digitale Reiseführer. So, und die Idee ist eben, Sie haben die Möglichkeit, dort mit diesem Tool sich das eben offline zu installieren. Das Erste schon mal: Es gibt viele diese Tools, wo ich schon ins Schwitzen kam, mir die zu installieren. Da musst du dann mit Terminal befehlen und mit irgendwelchen GitHub-Repositories arbeiten. Die Entwickler unter Ihnen, die Softwareentwickler, die haben da ein müdes Lächeln.

Aber selbst ich, der als Kind auf dem C64 Assembler programmiert hat und der schon ein gewisses Verständnis von Programmierung hat … Im Studium habe ich irgendwann Cobol und Fortran damals gelernt. Also das mussten wir damals noch lernen. Also ich habe schon auch selber mal programmiert. Ich kann das. Von der Logik her bin etwas außer Übung, aber ich bin vom Grundsatz her erst mal Advanced User. Und selbst mir fiel es manchmal schwer, auf den ersten Blick eben diese ganzen Dinge zu machen. Und außerdem ist für mich dann immer die Frage: Was kann ich denn da kaputt machen, wenn ich jetzt in diesen Tiefen der Terminal-Befehle mich dann vielleicht noch vertippe? Das Gute ist, bei AnythingLLM haben Sie eine einfache Download-Routine, so wie Sie die von anderen Programm auch erkennen. Das heißt, sie laden sich ein Programm runter und das können sie eben für Windows, für Linux und auch für das Mac-Betriebssystem runterladen. Auch noch mal ganz interessant, denn viele dieser lokalen KI-Tools sind bisher aktuell eigentlich nur für Macs verfügbar. Liegt ein Stück weit daran, dass gerade die Apple Silicon-Generation ab dem M1-Prozessor einen sehr großen KI-Teil in ihrem Prozessor mit drin hat und dafür von der Architektur her gut geeignet und Windows jetzt erst mit diesen neuen Armsystemen so langsam hardwaremäßig eben nachzieht.

Sprachmodelle von Microsoft und Apple

Also diese Arm-Strategie-Änderung, die Windows gerade mit dem neuen Surface und eben mit Wettbewerbsgeräten von anderen Anbietern wie Dell oder Fujitsu oder anderen eben oder HP oder Compact hat. Das hat Apple vor vier Jahren gemacht. Diesen Prozess geht Microsoft gerade durch. Deswegen ist da Apple ausnahmsweise mal einen kleinen Schritt vorneweg, aber das Gute ist, Sie kriegen eben AnythingLLM für alle Plattformen, also auch für diejenigen unter Ihnen, die mit Windows-Systemen arbeiten, die können mit diesem Tool eben auch arbeiten.

Sie brauchen dafür auch gar kein so ein extrem Monster-PC und können sich dann entsprechend die Software runterladen und im nächsten Schritt können Sie sich dann verschiedene Instanzen oder Arbeitsplätze damit bauen. Ich finde das eine ziemlich coole Lösung, denn sie haben den riesig großen Vorteil, dass sie in diesem Bereich, ich mache es bei mir mal auf, dann gucke ich noch mal, dass ich hier den richtigen auch Begriff nenne, wo sich mehrere davon einrichten können, und zwar heißen die Arbeitsbereiche. Arbeitsbereiche ist praktisch wie so ein eigener ChatGPT-Chat, den sie sich dort entsprechend haben. Und nicht nur Chat, sondern wie eigene Chat GPTs und das Geniale ist, für jeden Arbeitsbereich können Sie sich ein anderes Sprachmodell und ein anderes Verhalten hinterlegen.

Meine Empfehlung – eigene Arbeitsbereiche mit und ohne Internet einrichten

Beispielsweise habe ich, was ich Ihnen mindestens empfehle, ist, dass Sie sagen, Sie haben einmal einen Arbeitsbereich ohne Zugriff auf das Internet und einen mit Zugriff auf das Internet. Denn manchmal halluziniert das System dann doch ein bisschen stärker, wenn Sie Internetquellen dabei haben. Manchmal wollen Sie nur auf den eigenen Quellen arbeiten. Und dann können Sie eben pro Arbeitsbereich einstellen, mit welchem Modell wollen Sie arbeiten. Und hier gibt es eben beispielsweise von Claude die Anthropic-Modelle, die aktuell Mistral-Modelle von den französischen Kollegen, sehr, sehr leistungsfähig. Und das Schöne ist, Sie können die eben da Open Source, können sich die eben auch offline herunterladen für die Nutzung eben, wenn Sie es dann einmal heruntergeladen haben. Muss man ein bisschen geduldigen Warten, also ein bisschen Geduld haben. Das erste Mal war ich zu ungeduldig und dachte mir, da kommt immer eine Fehlermeldung, was soll das? Bis ich dann mal in den Modellbereich gegangen bin und gemerkt habe, das Modell hat irgendwie 30 GB. Da braucht er doch ein bisschen, bis er das mal runtergeladen und installiert hat. Sie müssen übrigens nicht immer das größte Modell nehmen. Also Größe ist nicht immer besser. Manchmal ist eben auch die Frage, wie smart ist so ein Modell?

Also probieren Sie es mal aus. Es gibt eben die, die ich immer empfehlen kann, sind die einmal von Anthropic, die Claude-Modelle. Sie können dort entsprechend auch die LLaMA-Modelle von Facebook Meta nutzen. Das sind so die Gängigen. Und Sie können es einfach mal ausprobieren. Und Sie können dann auch immer pro Arbeitsbereich sagen, welche Temperatur. Temperatur null heißt tendenziell, dass wenn es fünf wahrscheinliche Varianten gibt, sie immer nur eine kriegen. Und wenn sie die höchste Temperatur haben, das geht eben, glaube ich, da bis zwei, dann ist es eben so, dass sie alle möglichen Varianten bekommen, also tendenziell vereinfacht gesagt. Das ist Temperatur null. Eher Fakten orientiert und Temperatur eben zwei ist eher fantasievoll. Ist ein bisschen zu kurz gesprochen, weil die, die mich kennen, wissen, es ist eher die Frage zu sagen, wie wahrscheinlich ist eine Lösung, weil das ist eben eine, KI ist eine KI, ist eine Wahrscheinlichkeitsmaschine. Und bei der Temperatur null kriegen Sie immer nur die eine wahrscheinlichste Antwort und bei einer hohen Temperatur kriegen Sie eben nicht nur die Wahrscheinlichste, sondern auch andere Antworten entsprechen mit dazu. Also das ist so eher die Idee, die da mit dahinter steckt hinter diesem Thema. Das vielleicht einmal von dem Hintergrund der Temperatur.

Testen Sie verschiedene Sprachmodelle – Methodisch vorgehen lohnt sich!

Spannend ist dann, bevor Sie loslegen, können Sie immer pro Arbeitsbereich auch Dokumente hochladen und können dort sagen, Dokumente… können Website noch mit hochladen und können dort letztendlich fast alles machen, was Sie gewohnt sind von den großen Modellen. Sie haben natürlich immer etwas weniger Leistungs Leistungsfähigkeit, denn die großen Rechenzentren sind eben mit den fetten Nvidia-Grafikkarten ausgestattet, die Sie im Regelfall zu Hause nicht haben. Die haben glasahmendicke Glasfasserkabel ins Internet. Das heißt, sie werden nie die Performance haben, die sie eben über eine rechenbasierte, rechensendungsbasierte Lösung haben, aber eben, sie können, gerade wenn es dann mal vertrauliche Dinge geht, auch Dinge in Haus machen. Und die aktuellen Rechner sollten dann entsprechend eine gute Performance haben, viel Speicher haben. Und bei anythingLLM beispielsweise ist es auch so, dass Sie sogar sagen können: Ich habe hier einen Rechner, der im Netzwerk für mehrere verfügbar ist. Also von dem Hintergrund kann ich es empfehlen, einfach mal auszuprobieren, in die Einstellung reinzugehen. Und Sie können es einfach mal testen, Sie können dann sogar das Internet abklemmen und haben trotzdem eben die Möglichkeit, mit diesen Sprachmodellen auch offline zu arbeiten. Weil oft geht es ja gar nicht die Inhalte, sondern es geht ja darum, dass man eben die Methodik, nämlich das Verarbeiten von Sprache, also Inhalte aus verschiedenen Dokumenten zusammenzuführen, neu zu schreiben, neu zu verbinden, das kann man wunderbar machen.

Und wenn Sie jetzt aber die da für die Webseite Dinge machen, die ohnehin öffentlich verfügbar sind, dann arbeiten sie gerne wieder online. Also es ist für mich kein Ersatz, sondern eine Ergänzung für Tools. So wie Sie ja auch wissen, böse Zungen sagen ja mal, Cloud heißt Cloud, weil sie Daten klaut. Ich glaube, das nicht. Ich glaube, Cloud hat sogar ein höheres Maß an Datensicherheit in vielen Bereichen, weil wenn ich jetzt mal gucke, wie gut meine Server hier geschützt sind vor Zugang, Zudritt, Feuer, Wasser und sonstigen Gefahren, dann ist, glaube ich, ein unterirdisches Rechenzentrum von Microsoft oder der DATEV deutlich besser geschützt. Auf der anderen Seite sage ich auch, okay, Kennwörter beispielsweise gehören für mich auch in die Cloud. Da ist es eher so, dass ich die bei mir auch offline und dann sicher synchronisiere zwischen den Geräten dort verwalte. Und da ist es ähnlich wie beim Thema KI. AnythingLLM, also eine gute Ergänzung, die sie auf allen Plattformen dort laufen lassen können. Probieren Sie es gerne einfach mal aus und freuen Sie sich auf einer der nächsten Episoden, wenn ich Ihnen dann auch mal Schneider AI dann dort zeige und das Interview, was wie gesagt sehr, sehr spannend ist.

Setzen Sie die KI strategisch ein

Sollten Sie übrigens in dem Hause das Thema künstliche Intelligenz auf dem Zettel haben und Sie sagen: Mensch, ich bräuchte mal jemanden, der eben auf der einen Seite die Welt des Managements aus seiner eigenen Erfahrung als Geschäftsführer, Mittelstand, als Executive MBA strategisch betrachten kann, auf der anderen Seite aber auch in den Tiefen der Tools drin ist und damit sich auch mit meinen ITlern dort connecten kann. Wenn Sie da jemanden brauchen, sehr, sehr gerne. Was ich Ihnen gerne anbiete, was ich für viele Kunden gerade mache, sind zweitägige In-House-KI-Workshops, wo wir an am ersten Tag so vor allen Dingen auf den aktuellen Stand zum Thema KI kommen, wo sie am Ende des ersten Tages verstanden haben, was kann KI denn schon heute? Und dann, das habe ich gelernt, ich habe das am Anfang immer in einem Tag gemacht, habe am Ende des Tages Use Cases gesammelt. Das hat wunderbar funktioniert, dann kam aber noch nicht in die Umsetzung. Dann mussten wir immer noch mal einen zweiten Tag dort hinterher dranhängen und deswegen biete ich mittlerweile das eben ausschließlich in einem Zwei-Tages-Format an, wo wir den Abend dann nutzten, einfach auch solche philosophischen, ethischen Diskussionen zu führen, wo wir uns auch ein bisschen besser noch mal beim Bier kennenlernen oder natürlich auch gerne beim alkoholfreien Getränk und wo wir am nächsten Tag dann einfach in dieses Thema reingehen, hands-on, und sie am Ende des zweiten Tages dann wirklich die ersten Prototypen haben, mit denen sie weiterarbeiten können.

Fazit

Denn Sie wissen, mein vor allen Dingen das Ziel ist, nicht selbst der Held zu sein, sondern Sie zum Held zu machen, sodass sie dort ihre KI in ihrem Unternehmen einsetzen können, mehr zu verkaufen, produttiver zu werden, bis hin zu neuen Geschäftsfeldern zu erschließen. Das ist mein Ziel. Dabei wünsche ich Ihnen von Herzen viel Erfolg und gerne erhalten Sie bei Bedarf meinen Unterstützung. Ihr Thorsten Jeckel. Das war eine weitere Episode von Digital for Productivity, dem Podcast für Produktive Digitalisierung. Und immer daran denken: Erst Hirn einschalten, dann Technik.

Ihr Thorsten Jekel.

Also available in: English

Your email address will not be published. Required fields are marked

{"email":"Email address invalid","url":"Website address invalid","required":"Required field missing"}