Vektorsuche

Die Vektorsuche ist eine leistungsstarke Vektorsuchmaschine, die auf bahnbrechender Technologie von Google Research basiert. Mit dem ScaNN Algorithmus können Sie mit der Vektorsuche Such- und Empfehlungssysteme der nächsten Generation sowie generative KI-Anwendungen erstellen.

Sie profitieren von derselben Forschung und Technologie, die auch in wichtigen Google-Produkten wie der Google Suche, YouTube und Google Play zum Einsatz kommen. Das bedeutet, dass Sie die Skalierbarkeit, Verfügbarkeit und Leistung erhalten, die für die Verarbeitung riesiger Datasets und die Bereitstellung blitzschneller Ergebnisse weltweit erforderlich sind. Mit der Vektorsuche erhalten Sie eine Lösung der Enterprise-Klasse, mit der Sie modernste semantische Suchfunktionen in Ihren eigenen Anwendungen implementieren können.

Live-Demo zur Vektorsuche

Blog: Multimodale Suche mit der Vektorsuche

Next 24 – Demo „Infinite Nature“

Next 24 Infinite Nature Demo

Infinite Fleurs: KI-gestützte Kreativität in voller Blüte

Infinite Fleurs: AI-assisted creativity in full bloom

Live-Demo zur Vektorsuche

Experience multimodal AI with manga ONE PIECE

Jetzt starten

Interaktive Demo der Vektorsuche: In der Live-Demo sehen Sie ein realistisches Beispiel dafür, was die Vektorsuchtechnologie leisten kann. So können Sie sich einen Vorsprung bei der Vektorsuche verschaffen.

Kurzanleitung zur Vektorsuche: Probieren Sie die Vektorsuche in 30 Minuten aus, indem Sie mit einem Beispieldatensatz einen Vektorsuchindex erstellen, bereitstellen und abfragen. In dieser Anleitung werden Einrichtung, Datenvorbereitung, Indexerstellung, Bereitstellung, Abfrage und Bereinigung behandelt.

Vorbereitung: Bereiten Sie Ihre Einbettungen vor, indem Sie ein Modell auswählen und trainieren und Ihre Daten vorbereiten. Wählen Sie dann einen öffentlichen oder privaten Endpunkt aus, auf dem Sie Ihren Abfrageindex bereitstellen möchten.

Preise und Preisrechner für die Vektorsuche: Die Preise für die Vektorsuche umfassen die Kosten für virtuelle Maschinen, die zum Hosten bereitgestellter Indexe verwendet werden, sowie die Kosten für das Erstellen und Aktualisieren von Indexen. Selbst bei einer minimalen Einrichtung (unter 100 $ pro Monat) kann ein hoher Durchsatz für mittelgroße Anwendungsfälle erzielt werden. So schätzen Sie Ihre monatlichen Kosten:

  1. Rufen Sie den Preisrechner von Google Cloud auf.
  2. Klicken Sie auf Der Schätzung hinzufügen.
  3. Suchen Sie nach „Gemini Enterprise Agent Platform“.
  4. Klicken Sie auf die Schaltfläche Gemini Enterprise Agent Platform.
  5. Wählen Sie im Drop-down-Menü Diensttyp die Option Gemini Enterprise Agent Platform Vektorsuche aus.
  6. Behalten Sie die Standardeinstellungen bei oder konfigurieren Sie eigene Einstellungen. Die geschätzten Kosten pro Monat werden im Bereich Kostendetails angezeigt.

Dokumentation

Anwendungsfälle und Blogs

Die Vektorsuchtechnologie wird zu einem zentralen Knotenpunkt für Unternehmen, die KI nutzen. Ähnlich wie relationale Datenbanken in IT-Systemen verbindet sie verschiedene Geschäftselemente wie Dokumente, Inhalte, Produkte, Nutzer, Ereignisse und andere Entitäten basierend auf ihrer Relevanz. Neben der Suche in herkömmlichen Medien wie Dokumenten und Bildern kann die Vektorsuche auch intelligente Empfehlungen liefern, Geschäftsprobleme mit Lösungen abgleichen und sogar IoT-Signale mit Überwachungsbenachrichtigungen verknüpfen. Sie ist ein vielseitiges Tool, das für die Navigation in der wachsenden Landschaft von KI-fähigen Unternehmensdaten unerlässlich ist.

Suchen und Abrufen von Informationen

Suche / Informationsabruf

Vektorsuche für Empfehlungssysteme

Empfehlung
Systeme

So können Sie mit der Vektorsuche der Gemini Enterprise Agent Platform leistungsstarke generative KI-Anwendungen erstellen: Die Vektorsuche unterstützt verschiedene Anwendungen, darunter E-Commerce, RAG-Systeme und Empfehlungssysteme sowie Chatbots, multimodale Suche und mehr. Die Hybridsuche verbessert die Ergebnisse für Nischenbegriffe weiter. Kunden wie Bloomreach, eBay und Mercado Libre nutzen die Gemini Enterprise Agent Platform aufgrund ihrer Leistung, Skalierbarkeit und Kosteneffizienz und profitieren von Vorteilen wie schnelleren Suchvorgängen und höheren Conversion-Raten.

**eBay nutzt die Vektorsuche für Empfehlungen**: Hier wird beschrieben, wie eBay die Vektorsuche für sein Empfehlungssystem verwendet. Mit dieser Technologie kann eBay ähnliche Produkte in seinem umfangreichen Katalog finden und so die Nutzerfreundlichkeit verbessern.

**Mercari nutzt die Vektorsuchtechnologie von Google, um einen neuen Marktplatz zu erstellen**: Hier wird erläutert, wie Mercari die Vektorsuche nutzt, um seine neue Marktplatzplattform zu verbessern. Die Vektorsuche unterstützt die Empfehlungen der Plattform und hilft Nutzern, relevante Produkte effektiver zu finden.

**Gemini Enterprise Agent Platform-Einbettungen für Text: LLMs einfach fundieren**: Hier geht es um die Fundierung von LLMs mit Gemini Enterprise Agent Platform-Einbettungen für Textdaten. Die Vektorsuche spielt eine wichtige Rolle bei der Suche nach relevanten Text Passagen, die dafür sorgen, dass die Antworten des Modells auf Fakten basieren.

**What is Multimodal Search: „LLMs with vision“ change businesses**: Hier wird die multimodale Suche behandelt, die LLMs mit visuellem Verständnis kombiniert. Es wird erläutert, wie die Vektorsuche sowohl Text als auch Bilddaten verarbeitet und vergleicht, um umfassendere Suchergebnisse zu ermöglichen.

Multimodale Suche im großen Maßstab freischalten: Text- und Bildleistung mit der Gemini Enterprise Agent Platform kombinieren: Hier wird beschrieben, wie Sie mit der Gemini Enterprise Agent Platform eine multimodale Suchmaschine erstellen, die Text- und Bildsuche mit einer gewichteten Rank-Biased Reciprocal Rank -Ensemble-Methode kombiniert. Dies verbessert die Nutzerfreundlichkeit und liefert relevantere Ergebnisse.

**Scaling deep retrieval with TensorFlow Recommenders and Vector Search**: Hier wird erläutert, wie Sie mit TensorFlow Recommenders und der Vektorsuche ein Empfehlungssystem für Wiedergabelisten erstellen. Dabei werden Modelle für den Deep Retrieval, Training, Bereitstellung und Skalierung behandelt.

Generative KI im Einsatz

Generative KI: Abruf für RAG und Agenten

**Gemini Enterprise Agent Platform und Denodo ermöglichen den Zugriff auf Unternehmensdaten mit generativer KI**: Hier wird gezeigt, wie Unternehmen durch die Integration der Gemini Enterprise Agent Platform in Denodo generative KI nutzen können, um Erkenntnisse aus ihren Daten zu gewinnen. Die Vektorsuche ist entscheidend für den effizienten Zugriff auf relevante Daten und deren Analyse in einer Unternehmensumgebung.

**Infinite Nature and the nature of industries: This 'wild' demo shows the diverse possibilities of AI**: Hier wird eine Demo vorgestellt, die das Potenzial von KI in verschiedenen Branchen veranschaulicht. Dabei wird die Vektorsuche verwendet, um generative Empfehlungen und multimodale semantische Suche zu ermöglichen.

Infinite Fleurs: AI-assisted creativity in full bloom: Infinite Fleurs von Google ist ein KI-Experiment, bei dem mit der Vektorsuche, Gemini-Modellen einzigartige Blumensträuße auf der Grundlage von Nutzer-Prompts generiert werden. Diese Technologie zeigt das Potenzial von KI, die Kreativität in verschiedenen Branchen zu fördern.

**LlamaIndex for RAG on Google Cloud**: Hier wird beschrieben, wie Sie LlamaIndex verwenden können, um die Retrieval-Augmented Generation (RAG) mit Large Language Models zu erleichtern. LlamaIndex nutzt die Vektorsuche um relevante Informationen aus einer Wissensdatenbank abzurufen. Das Ergebnis sind genauere und kontextbezogenere Antworten.

**RAG and grounding on Gemini Enterprise Agent Platform**: Hier werden RAG- und Verankerungstechniken auf der Gemini Enterprise Agent Platform untersucht. Die Vektorsuche hilft dabei, relevante Fundierungsinformationen während des Abrufs zu identifizieren. So werden generierte Inhalte genauer und zuverlässiger.

Vector Search on LangChain: Hier finden Sie eine Anleitung zur Verwendung der Vektorsuche mit LangChain zum Erstellen und Bereitstellen eines Vektordatenbankindex für Textdaten, einschließlich Question Answering und PDF-Verarbeitung.

Symbol: Computerdatenanalyse

BI, Datenanalyse, Monitoring und mehr

Echtzeit-KI mit Streamingaufnahme in der Agent Platform ermöglichen: Hier wird die Streamingaktualisierung in der Vektorsuche behandelt und erläutert, wie sie Echtzeit-KI-Funktionen bietet. Mit dieser Technologie können eingehende Datenstreams in Echtzeit verarbeitet und analysiert werden.

Die folgenden Ressourcen können Ihnen den Einstieg in die Vektorsuche erleichtern:

Notebooks und Lösungen

Kurzanleitung: Vektorsuche mit Agent Platform Erste Schritte mit Texteinbettungen und Vektorsuche

**Kurzanleitung zur Vektorsuche der Agent Platform**: Hier finden Sie eine Übersicht über die Vektorsuche. Sie wurde für Nutzer entwickelt, die die Plattform noch nicht kennen und schnell loslegen möchten.

Erste Schritte mit Texteinbettungen und der Vektorsuche: Hier werden Texteinbettungen und die Vektorsuche vorgestellt. Es wird erläutert, wie diese Technologien funktionieren und wie sie zur Verbesserung der Suchergebnisse eingesetzt werden können.

Anleitung zur Hybridsuche mit der Vektorsuche Gemini RAG Engine mit Vektorsuche

**Semantische Suche und Suche nach Suchbegriffen kombinieren: Anleitung zur Hybridsuche mit der Gemini Enterprise Agent Platform** **Vektorsuche**: Hier finden Sie eine Anleitung zur Verwendung der Vektorsuche für die Hybridsuche. Es werden die Schritte zum Einrichten und Konfigurieren eines Hybrid Suchsystems beschrieben.

**RAG-Engine der Gemini Enterprise Agent Platform mit der Vektorsuche**: Hier wird die Verwendung der RAG-Engine der Gemini Enterprise Agent Platform mit der Vektorsuche behandelt. Es werden die Vorteile der gemeinsamen Verwendung dieser beiden Technologien erläutert und Beispiele dafür gegeben, wie sie in realen Anwendungen eingesetzt werden können.

Infrastruktur für eine RAG-fähige generative KI-Anwendung mit der Agent Platform und Vector Search Die Google Cloud-Architektur

Infrastruktur für eine RAG-fähige generative KI-Anwendung mit der Gemini Enterprise Agent Platform und der Vektorsuche: Hier wird die Architektur für die Erstellung einer generativen KI-Anwendung und RAG mit der Vektorsuche, Cloud Run und Cloud Storage beschrieben. Dabei werden Anwendungsfälle, Designentscheidungen und wichtige Überlegungen behandelt.

Implementieren Sie den Two-Tower-Abruf für die Kandidatengenerierung im großen Maßstab: Hier finden Sie eine Referenzarchitektur, die zeigt, wie Sie mit der Gemini Enterprise Agent Platform einen End-to-End-Workflow zur Kandidatengenerierung mit zwei Türmen implementieren. Das Two-Tower-Modellierungs-Framework ist eine leistungsstarke Abruftechnik für Personalisierungsanwendungsfälle, da es die semantische Ähnlichkeit zwischen zwei verschiedenen Entitäten lernt, z. B. Webabfragen und Kandidatenelementen.

Training

Erste Schritte mit der Vektorsuche und Einbettungen : Die Vektorsuche wird verwendet, um ähnliche oder verwandte Elemente zu finden. Sie kann für Empfehlungen, Suche, Chatbots und Textklassifizierung eingesetzt werden. Dabei werden Einbettungen erstellt, hochgeladen Google Cloudund für die Abfrage indexiert. In diesem Lab geht es um Texteinbettungen mit der Gemini Enterprise Agent Platform. Einbettungen können aber auch für andere Datentypen generiert werden.

Vektorsuche und Einbettungen In diesem Kurs wird die Vektorsuche vorgestellt und beschrieben, wie sie beim Erstellen einer Suchanwendung mit Large Language Model-APIs (LLM) für Einbettungen genutzt werden kann. Der Kurs besteht aus konzeptionellen Lektionen über Vektorsuche und Texteinbettungen, interaktiven Demos zum Erstellen einer Vektorsuche in der Gemini Enterprise Agent Platform und einem Übungs-Lab.

Texteinbettungen verstehen und anwenden Die Gemini Enterprise Agent Platform Embeddings API generiert Texteinbettungen, die
numerische Darstellungen von Text sind, die für Aufgaben wie die Identifizierung ähnlicher Elemente verwendet werden.

In diesem Kurs verwenden Sie Texteinbettungen für Aufgaben wie Klassifizierung und semantische Suche und kombinieren die semantische Suche mit LLMs, um mit der Gemini Enterprise Agent Platform Question Answering-Systeme zu erstellen.

**Crashkurs „Maschinelles Lernen“: Einbettungen** : In diesem Kurs werden Wörtereinbettungen vorgestellt und mit dünnbesetzten Darstellungen verglichen. Es werden Methoden zum Erhalten von Einbettungen behandelt und zwischen statischen und kontextbezogenen Einbettungen unterschieden.

**Gemini Enterprise Agent Platform-Einbettungen** : Hier finden Sie eine Übersicht über die Embeddings API. Anwendungsfälle für Text- und multimodale Einbettungen, sowie Links zu zusätzlichen Ressourcen und verwandten Google Cloud Diensten.

Vertex AI Search Ranking API Die Ranking API ordnet Dokumente anhand ihrer Relevanz für eine Abfrage mit einem vorab trainierten Language Model neu an und liefert präzise Ergebnisse. Sie eignet sich ideal zur Verbesserung der Suchergebnisse aus verschiedenen Quellen, einschließlich der Vektorsuche.

Gemini Enterprise Agent Platform Feature Store : Hier können Sie Featuredaten mit BigQuery als Datenquelle verwalten und bereitstellen. Er stellt Ressourcen für die Onlinebereitstellung bereit und fungiert als Metadatenebene, um die neuesten Featurewerte direkt aus BigQuery bereitzustellen. Mit dem Feature Store können Featurewerte für die Elemente, die Vector Store für Abfragen zurückgegeben hat, sofort abgerufen werden.

**Gemini Enterprise Agent Platform Pipelines** : Mit Gemini Enterprise Agent Platform Pipelines können Sie Ihre ML-Systeme serverlos automatisieren, überwachen und steuern, indem Sie ML-Workflows mit ML-Pipelines orchestrieren. Sie können ML-Pipelines, die mit Kubeflow Pipelines oder dem TensorFlow Extended (TFX)-Framework definiert wurden, in Batches ausführen. Mit Pipelines können Sie automatisierte Pipelines erstellen, um Einbettungen zu generieren, Vektorsuchindexe zu erstellen und zu aktualisieren und eine MLOps-Einrichtung für Produktionssuch- und Empfehlungssysteme zu erstellen.

Ressourcen für detaillierte Informationen

Enhancing your gen AI use case with Gemini Enterprise Agent Platform embeddings and task types Hier geht es um die Verbesserung generativer KI-Anwendungen mit Gemini Enterprise Agent Platform-Einbettungen und Aufgabentypen. Die Vektorsuche kann mit Einbettungen des Aufgabentyps verwendet werden, um den Kontext und die Genauigkeit generierter Inhalte zu verbessern, indem relevantere Informationen gefunden werden.

TensorFlow Recommenders Eine Open-Source-Bibliothek zum Erstellen von Empfehlungssystemen. Sie vereinfacht den Prozess von der Datenvorbereitung bis zur Bereitstellung und unterstützt die flexible Modellerstellung. TFRS bietet Anleitungen und Ressourcen und ermöglicht die Erstellung komplexer Empfehlungsmodelle.

TensorFlow Ranking TensorFlow Ranking ist eine Open-Source-Bibliothek zum Erstellen skalierbarer neuronaler LTR-Modelle (Learning-to-Rank). Sie unterstützt verschiedene Verlustfunktionen und Ranking-Messwerte und kann in der Suche, bei Empfehlungen und in anderen Bereichen eingesetzt werden. Die Bibliothek wird aktiv von Google AI entwickelt.

Ankündigung von ScaNN: Effiziente Suche nach Vektorähnlichkeiten ScaNN von Google ist ein Algorithmus für die effiziente Suche nach Vektorähnlichkeiten, der eine neuartige Technik verwendet, um die Genauigkeit und Geschwindigkeit bei der Suche nach den nächsten Nachbarn zu verbessern. Er übertrifft bestehende Methoden und findet in vielen Bereichen des maschinellen Lernens Anwendung, in denen eine semantische Suche erforderlich ist. Die Forschungsbemühungen von Google umfassen verschiedene Bereiche, darunter grundlegendes ML und die gesellschaftlichen Auswirkungen von KI.

SOAR: Neue Algorithmen für noch schnellere Vektorsuche mit ScaNN Der SOAR-Algorithmus von Google verbessert die Effizienz der Vektorsuche durch die Einführung einer kontrollierten Redundanz, die schnellere Suchvorgänge mit kleineren Indexen ermöglicht. SOAR weist Vektoren mehreren Clustern zu und erstellt so „Backup“-Suchpfade für eine bessere Leistung.


Erste Schritte mit der Vektorsuche mit der Agent Platform

Die Vektorsuche ist ein leistungsstarkes Tool zum Erstellen von KI-basierten Anwendungen. In diesem Video wird die Technologie vorgestellt und eine detaillierte Anleitung für den Einstieg gegeben.



Hybridsuche mit der Vektorsuche

Die Vektorsuche kann für die Hybridsuche verwendet werden. So können Sie die Leistung der Vektorsuche mit der Flexibilität und Geschwindigkeit einer herkömmlichen Suchmaschine kombinieren. In diesem Video wird die Hybridsuche vorgestellt und gezeigt, wie Sie die Vektorsuche für die Hybridsuche verwenden.



Sie verwenden die Vektorsuche bereits! So werden Sie zum Experten

Wussten Sie, dass Sie die Vektorsuche wahrscheinlich jeden Tag verwenden, ohne es zu merken? Von der Suche nach dem schwer zu findenden Produkt in den sozialen Medien bis hin zur Suche nach einem Song, der Ihnen im Kopf herumschwirrt – die Vektorsuche ist die KI-Magie hinter diesen alltäglichen Erfahrungen.



Neue Einbettung des „Aufgabentyps“ vom DeepMind-Team verbessert die RAG-Suchqualität

Verbessern Sie die Genauigkeit und Relevanz Ihrer RAG-Systeme mit neuen Aufgabentyp-Einbettungen, die vom Google DeepMind-Team entwickelt wurden. Sehen Sie sich das Video an und erfahren Sie mehr über die häufigsten Herausforderungen bei der RAG-Suchqualität und wie Einbettungen des Aufgabentyps die semantische Lücke zwischen Fragen und Antworten effektiv schließen können, was zu einem effektiveren Abruf und einer verbesserten RAG-Leistung führt.

Terminologie der Vektorsuche

Diese Liste enthält einige wichtige Begriffe, die Sie kennen müssen, um die Vektorsuche zu verwenden:

  • Vektor: Ein Vektor ist eine Liste von Gleitkommawerten mit Größe und Richtung. Sie können damit alle Arten von Daten darstellen, z. B. Zahlen, Punkte im Raum und Richtungen.

  • Einbettung: Eine Einbettung ist ein Vektortyp, der zur Darstellung von Daten verwendet wird, um ihre semantische Bedeutung zu erfassen. Einbettungen werden meist mithilfe von Techniken des maschinellen Lernens erstellt und häufig in Natural Language Processing (NLP) und anderen ML-Anwendungen verwendet.

    • Hohe Einbettungen: Hohe Einbettungen stellen die semantische Bedeutung von Text dar und verwenden Arrays, die hauptsächlich Werte ungleich null enthalten. Mit hohen Einbettungen können ähnliche Suchergebnisse basierend auf der semantischen Ähnlichkeit zurückgegeben werden.

    • Dünnbesetzte Einbettungen: Dünnbesetzte Einbettungen stellen die Textsyntax dar, und verwenden hochdimensionale Arrays, die im Vergleich zu hohen Einbettungen nur sehr wenige Werte ungleich null enthalten. Dünnbesetzte Einbettungen werden häufig für die Suche nach Suchbegriffen verwendet.

  • Hybridsuche: Bei der Hybridsuche werden sowohl hohe als auch dünnbesetzte Einbettungen verwendet. So können Sie basierend auf einer Kombination aus Suche nach Suchbegriffen und semantischer Suche suchen. Die Vektorsuche unterstützt die Suche basierend auf dichten Einbettungen, dünnbesetzten Einbettungen und der Hybridsuche.

  • Index: Eine Sammlung von Vektoren, die gemeinsam für die Ähnlichkeitssuche bereitgestellt werden. Vektoren können einem Index hinzugefügt oder aus einem Index entfernt werden. Ähnlichkeitssuchanfragen werden an einen bestimmten Index gestellt und durchsuchen die Vektoren in diesem Index.

  • Ground Truth: Ein Begriff, bei dem das maschinelle Lernen auf Genauigkeit im echten Leben geprüft wird, z. B. ein Ground Truth-Dataset.

  • Recall: Der Prozentsatz der nächsten Nachbarn, die vom Index zurückgegeben werden und tatsächlich die nächsten Nachbarn sind. Wenn z. B. eine Abfrage nach 20 nächsten Nachbarn 19 der „grundlegend echten“ nächsten Nachbarn zurückgibt, beträgt der Recall 19/20x100 = 95%.

  • Einschränken: Funktion, mit der Suchanfragen mithilfe von booleschen Regeln auf eine Teilmenge des Index beschränkt werden können. „Einschränken“ wird auch als „Filter“ bezeichnet. Mit der Vektorsuche können Sie numerische Filterung und Filterung nach Textattributen verwenden.