Mistral-AI-Modelle für Databricks Data Intelligence Platform
Quelle: Foto: databricks.com
21.03.2024
Databricks hat eine Partnerschaft inklusive Beteiligung an der Serie-A-Finanzierung von Mistral AI bekannt gegeben. Databricks-Kunden können auf zwei offene Mistral-Modelle zugreifen.
Databricks-Kunden können über den Databricks Marketplace auf Mistral-Modelle zugreifen, sie als optimierte Modell-Endpunkte durch Model Serving nutzen und sie durch Adaption an ihre eigenen Daten anpassen. Unternehmen können die Modelle von Mistral schnell für ihre generativen KI-Anwendungen nutzen, ohne Kompromisse bei Sicherheit, Datenschutz und Governance einzugehen.
Für Benutzer, die mehr Präzision für bestimmte Anwendungsfälle benötigen, ist die Anpassung von Mistral-Modellen an eigene Daten durch Mosaic AI FM Adaptation möglich. Die serverlose Inferenz basiert laut Databricks auf einem einheitlichen Ansatz für Governance und Sicherheit.
Diese offenen Modelle sind vollständig in die Databricks-Plattform integriert:
Mistral 7B ist ein kleines, aber leistungsstarkes dichtes Transformatormodell, das mit einer Kontextlänge von 8k trainiert wurde. Es ist, so der Anbieter, aufgrund seiner relativ geringen Größe von 7 Milliarden Parametern und seiner Modellarchitektur, die "Grouped Query Attention (GQA)" und "Sliding Window Attention (SWA)" nutzt, sehr effizient in der Bedienung.
Mixtral 8x7B ist ein Sparse Mixture of Experts Modell (SMoE), das eine Kontextlänge von 32k unterstützt und in der Lage ist, Englisch, Französisch, Italienisch, Deutsch und Spanisch zu verarbeiten. Es übertrifft laut Databricks Llama 2 70B in den meisten Benchmarks und bietet eine sechs Mal schnellere Inferenz dank seiner SMoE-Architektur, die nur 12 Milliarden Parameter während der Inferenz aktiviert, von insgesamt 45 Milliarden trainierten Parametern.
Der Databricks Marketplace ermöglicht Kunden die Mistral-Modelle aufzurufen, sich über ihre Fähigkeiten zu informieren und Anwendungsbeispiele kennenzulernen. Die Modelle können auf der gesamten Databricks-Plattform beispielsweise dafür genutzt werden, um Modelle mit Mosaic AI Model Serving, Batch-Inferenz mit Spark und Modell Inferenz in SQL mit AI Functions bereitzustellen.
In diesem Blogbeitrag finden Sie technische Details der Zusammenarbeit.