Private LLM-Plattform für eine Organisation der öffentlichen Hand
- Ausgangslage
- Mitarbeitende brauchten generative KI für Dokumente und den IT-Betrieb, doch sensible Daten durften nicht an externe KI-Anbieter gehen.
- Ergebnis
- Generative KI im täglichen Einsatz, ohne dass Daten die Organisation verlassen und ohne Abhängigkeit von externen APIs.
- Ollama
- Open WebUI
- RAG
- Embeddings
- C#
- Azure DevOps