Hast du dich jemals gefragt, wie #Technologie Text versteht und verarbeitet, um #Empfehlungen zu geben oder Informationen effektiv zu kategorisieren? 🤔
Lass uns einen Blick in die Welt der #Embeddings werfen 👨💻 – eine leistungsstarke Technik, die Text in einen mathematischen Raum kodiert und Computern ermöglicht, Textdaten effizienter zu verstehen und zu verarbeiten.
Generierung von Embeddings:
Der Code verwendet OpenAI's Text-Embedding-Modell (text-embedding-ada-002), um Embeddings für Textbeschreibungen in einem DataFrame zu generieren.
t-SNE-Visualisierung:
Anschließend wird t-Distributed Stochastic Neighbor Embedding (t-SNE) verwendet, um hochdimensionale Daten in niedrigere Dimensionen zu visualisieren. Dieser Prozess transformiert die Text-Embeddings in einen zweidimensionalen Raum für eine einfachere Visualisierung.
Ergebnisse der Visualisierung:
Die resultierenden Spalten 'description_x' und 'description_y' im DataFrame enthalten die Koordinaten jeder Textbeschreibung im 2D-Raum. Dadurch können wir die Beziehungen zwischen verschiedenen Text-Embeddings visualisieren.
Power BI:
Um euch mit dem #Embeddings etwas vertrauter zu machen, haben wir die Daten in einem Power BI dargestellt. Dort seht ihr eine Punktwolke. Jeder Punkt steht für einen Film. Je näher zwei Punkte sind, desto ähnlicher sind ihre Beschreibungen.
Mit unserem Power BI kann du auch mal von deinem Lieblingsfilm ausgehend gucken, welche anderen Filme ähnliche Beschreibungen haben.
Und so funktioniert es!
Zuerst suchst du in der linken Leiste deinen Filmtitel. Dadurch ändert sich die Tabelle in der unteren hälft.
Klicke auf den Titel in der Tabelle, um den Punkt in der Punktwolke zu finden. Mit den Schiebereglern kannst du deinen Film in die Mitte zentrieren. Klicke nun erneut auf den Filmtitel, damit die anderen Filmpunkte wieder erscheinen.
Erkunde die Punkte in der Nähe deines Filmes mit der Maus. Möglicherweise findest du hier einen Kandidaten für deinen nächsten Weihnachtsfilm.
Hast du eine Idee, was die unterschiedlichen Farben in unserem Plot bedeuten könnten?
In diesem Power BI findest du eine Übersicht der Weihnachtsfilme in verschiedenen Kategorien. 🎄🎬🎇
Du kannst es auch mit dem Pfeil auf der rechten Seite vergrößern.