Cloudflare
Mistral KI für Cloudflare Workers
von
Bernhard
Lauer - 23.11.2023
Foto: Cloudflare.com
Connectivity-Cloud-Anbieter Cloudflare hat bekannt gegeben, dass das neue große Sprachmodell Mistral 7B ab sofort verfügbar ist, um hyperlokale KI-Inferenz in seinem Netzwerk auszuführen.
Mistral ist eine Erweiterung von Cloudflares kürzlich gestarteter Workers AI, die serverlose, kostenpflichtige Inferenz am Rande des Netzwerks bieten soll. Mistral läuft auf Cloudflares globalem Netzwerk, um eine leistungsstarke und erschwingliche LLM-Option für Entwickler zu bieten, die KI-gestützte Anwendungen entwickeln. Mistral nutzt die Grouped-Query-Attention – eine neu entwickelte Technik, welche die Inferenzgeschwindigkeit verbessern soll, ohne die Qualität der Ausgabe zu beeinträchtigen – und kann viermal so viele Token pro Sekunde generieren wie andere Modelle (zum Beispiel Llama).
Mistral 7B ist ein 7,3 Milliarden Parameter-umfassendes KI-Modell, das laut Cloudflare bei Benchmarks beeindruckende Zahlen liefert. Das Modell:
- übertrifft Llama 2 13B bei allen Benchmarks
- übertrifft Llama 1 34B bei vielen Benchmarks
- erreicht bei Programmieraufgaben fast die Performance von CodeLlama 7B, während es bei Englisch-Aufgaben noch immer gut abschneidet
- Die optimierte, auf Chat-Dialog ausgerichtete Version, die Cloudflare eingesetzt hat, übertrifft Llama 2 13B Chat in den von Mistral durchgeführten Benchmarks
Mehr dazu erfahren Sie in diesem Blogbeitrag .
