Wie Netflix Open Source AI einsetzt, um Ihre Favoriten anzuzeigen

In diesem AI-basierten Wissenschaftsartikel untersuchen wir, wie Netflix ein Open Source-Modell zur Verbesserung seiner Entertainment Recommender-Systeme eingeführt hat.

Lassen Sie uns zunächst kurz diskutieren, was maschinelles Lernen im Grunde bedeutet. In einfachen Worten ist maschinelles Lernen eine Technik, mit der ein Computer aus Daten „lernen“ kann, ohne komplexe Regeln zu verwenden. Dieser Ansatz basiert hauptsächlich auf dem Trainieren eines Modells aus Datensätzen. Je besser die Qualität der Datensätze ist, desto genauer ist das maschinelle Lernmodell.

Zunächst ein kurzer Blick auf maschinelles Lernen und vertieftes Lernen

Es gibt hauptsächlich drei Formen des maschinellen Lernens:

  • Überwachtes Lernen
  • Unbeaufsichtigtes Lernen
  • Verstärkung lernen

Das überwachte Lernen basiert auf Schulungen an gekennzeichneten Datensätzen.

Unbeaufsichtigtes Lernen verwendet nicht beschriftete Datensätze.

Reinforcement Learning basiert auf der Belohnung eines Algorithmus auf der Grundlage seiner korrekten Ergebnisse und der Bestrafung, wenn der Versuch fehlschlägt.

Abstände über dem Jahr können sich auf die in diesem Artikel verwendeten Daten beziehen Netflix Open Sourcing Vectorflow im Jahr 2017, das eine tiefgehende Lernbibliothek ist Bildquelle hier

In Bezug auf ein Thema, das allgemein als künstliche neuronale Netze bekannt ist, gibt es auch „Deep Learning“, eine Technik zum Durchführen von maschinellem Lernen, die vom eigenen Neuronennetzwerk unseres Gehirns inspiriert ist.

Wie Netflix AI für die Inhaltsempfehlung verwendet

Wenn Sie ein Netflix-Abonnent sind oder waren, wissen Sie mit Sicherheit, dass Netflix kein werbebasiertes Modell verwendet. Stattdessen verwenden sie ein rein abonnementbasiertes Modell. Aus diesem Grund möchte Netflix Ihre Erfahrung für Sie so persönlich wie möglich gestalten.

Zu diesem Zweck hat Netflix eine Reihe von Möglichkeiten untersucht, wie sie ein solches persönliches Wahrnehmungsmodell entwickeln können. Auch wenn Sie noch kein Netflix-Abonnent waren, haben Sie sich vielleicht gefragt, wie Netflix diese erstaunlichen Empfehlungen für das Netflix-Konto eines Benutzers macht und wie die Menschen Netflix lieben, was in der heutigen Zeit so offensichtlich ist. Sie wären überrascht zu wissen, dass einige dieser Empfehlungen auf dem Gehirn einer Fruchtfliege beruhen könnten!

Anfangs waren ihre Methoden sehr einfach, basierten auf Big Data und stützten sich ausschließlich auf ein ratingbasiertes System. Die Empfehlungen für Filme / TV-Shows basierten vollständig darauf, wie gut oder schlecht eine bestimmte Show oder ein bestimmter Film bewertet wurde. Diese Bewertungen basierten auf Benutzerfeedback, Anzahl der Aufrufe, ob Videos in ihrer Gesamtheit / Teilen und / oder IMDB-Bewertungen angesehen wurden.

Hier ist ein Artikel der Stanford University vom 12. März 2008, der veranschaulicht, wie die Empfehlungen von Netflix auf IMDB-Ratings basierten.

Netflix baut auf einer soliden Grundlage strategischer Entscheidungen auf und hat einen langen Weg zurückgelegt, um ein großartiges Lernmodell zu entwickeln, um vorherzusagen, welcher der nächsten ungesehenen Lieblingsfilme der Benutzer mit einer beträchtlich hohen Genauigkeit sein könnte.

Am 21. September 2009 wurde das Team „BellKor Pragmatic Chaos“ für die Verbesserung des Netflix-Empfehlungsmodells mit einem Preisgeld von 1 Mio. USD ausgezeichnet. Bekannt als der Netflix-Preis, war dies eine Initiative von Netflix, um das Benutzererlebnis um 10% oder mehr zu verbessern.

Der Vorhersagealgorithmus, der improvisiert und aktualisiert werden sollte, basierte auf kollaborativer Filterung. Kollaboratives Filtern ist eine Empfehlungstechnik, die vollständig auf kollektivem, vom Benutzer abgeleitetem Feedback basiert.

Ein Ansatz zum maschinellen Lernen, um Filmpräferenzen vorherzusagen Vollständiges Video auf Recommender-Systemen

Sagen wir mal, eine Gruppe von Leuten hat einen Film gesehen, bei dem die Wahrscheinlichkeit groß ist, dass Sie ihn wirklich mögen. Aber wahrscheinlich haben Sie noch nie von dem Film gehört. Durch das Sammeln und Interpretieren Ihrer bisherigen Vorlieben für das Ansehen mit denen derjenigen, die es bereits angesehen haben, kann ein Empfehlungssystem Ihnen diesen bestimmten Film vorschlagen.

Die inhaltsbasierte Filterung basiert hingegen nicht auf den Vorlieben der Benutzer. Stattdessen werden Vergleiche zwischen den Videos selbst durchgeführt, die auf einer Art von Klassifizierung basieren, beispielsweise einem Genre. Das könnte eine Komödie sein, Romantik, Horror, Spannung und so weiter.

Weiterhin haben wir auch ein Hybridmodell, das beide oben beschriebenen Filtertechniken koppelt. Wenn Sie mehr darüber erfahren möchten, schauen Sie sich bitte diesen Clip an:

Netflix veröffentlichte sogar einen Artikel im ACM-Journal mit dem Titel „Das Netflix Recommender-System: Algorithmen, Geschäftswert und Innovation“. Das Papier ist als Open Access verfügbar. Einige der auffälligen Methoden, die in dem Artikel hervorgehoben werden, sind wie folgt:

Funktionen und Techniken, die Netflix verwendet, um den Benutzern die bestmögliche Erfahrung zu bieten:

  • Personalisierter Video Ranker: PVR
  • Top-N-Video-Rangliste
  • Gerade angesagt
  • Weiter schauen
  • Video-Video-Ähnlichkeit
  • Seitenerstellung: Zeilenauswahl und Rangfolge
  • Auswahl der Beweise
  • Erfahrung suchen
  • Statistische und maschinelle Lerntechniken für alle oben genannten Aspekte

Um sich auf die oben genannten Funktionen beziehen zu können, haben wir uns für das kostenlose Netflix-Abonnement für den ersten Monat angemeldet.

Nach der Anmeldung mussten wir 3 oder mehr Lieblingsfilme oder Fernsehsendungen auswählen. Also haben wir uns für Baahubali 2, Bright, Sherlock und Altered Carbon entschieden. Es gab viel mehr Auswahlmöglichkeiten als unten gezeigt:

Im Anschluss daran wurde das künstliche Gehirn von Netflix aktiv:

Je mehr Auswahl wir getroffen hätten, desto besser wäre die Personalisierung gewesen. Danach wurden wir mit der Netflix-Browsing-Seite begrüßt, die so aussieht:

"Meine Liste" kann mit "Personalized Video Ranker: PVR" verknüpft werden, was der ersten der 9 oben aufgeführten Techniken entspricht.

Wir wollten schon seit einiger Zeit "Altered Carbon" sehen. Also haben wir uns am Anfang ein paar Sekunden davon angesehen:

Als wir zur Startseite zurückkehrten, bemerkten wir eine neue Empfehlung:

Dies entspricht der „Video-Video-Ähnlichkeit“, da wir uns gerade etwas „Altered Carbon“ angesehen haben.

Es gab auch eine weitere interessante Empfehlungsreihe, die uns die Top-Tipps zeigte, an denen wir interessiert sein könnten, und wir waren überrascht, als wir diese Liste durchsuchten und feststellten, dass es keine gab, die wir nicht gerne sehen würden!

Dies würde sich direkt auf "Top-N Video Ranker" aus der obigen Liste beziehen. "Ittefaq" ist ein Suspense-Thriller, der zu einem ähnlichen Genre gehört wie "Sherlock", das wir gleich nach der Anmeldung ausgewählt hatten. "Revolt" muss, wie das Vorschaubild andeutet, zu einem Action-Genre gehören, das dem von "Baahubali 2" oder "Bright" entspricht. Das ergibt sich also aus der inhaltsbasierten Filterung.

Die Empfehlung „Stories By Rabindranath Tagore“ hat uns noch mehr überrascht. Netflix hätte dies basierend auf dem Standort empfehlen können. Sie haben wirklich einige unglaublich umwerfende Algorithmen da draußen!

Das war eine praktische Einführung in die Funktionsweise von Netflix. All diese intelligenten Empfehlungen wären nicht möglich gewesen, wenn Netflix nicht einen Open-Source-Ansatz für künstliche Intelligenz und maschinelles Lernen gewählt hätte. Lassen Sie uns nun einen Blick auf die Open Source-Initiativen von Netflix werfen.

Netflix Open Connect-Initiative

Netflix 'eigenes Content Delivery Network (CDN) basiert auf Open Source. Sie haben ihre Streaming-Dienste zunächst an Akamai, Level3 und Limelight ausgelagert. Aber irgendwann hatten sie eine Änderung in den Plänen.

Netflix hat beschlossen, ein eigenes CDN zu erstellen, weil sie Folgendes wollten:

  • Schneller wachsen
  • Kosten reduzieren
  • Steuern Sie die Serverseite der HTTP-Verbindung
  • Erstellen Sie ein CDN, das auf Netflix Content Delivery spezialisiert ist
  • Stellen Sie den Inhalt näher an einen Kunden heran

So entstand Netflix Open Connect . Die CDN-Grundlage von Netflix basiert auf dem NGINX-Webserver und dem FreeBSD-Betriebssystem, die zwei starke Säulen symbolisieren. Netflix entschied sich für die Verwendung einer BSD-Lizenz anstelle der GPL, während das CDN erstellt wurde. Dies lag daran, dass ISPs hauptsächlich als Dritte beteiligt waren. Um diese beiden Lizenzen im Detail zu vergleichen, klicken Sie hier.

NGINX wurde ausgewählt, weil es bekanntermaßen schnell und stabil ist, kommerziellen Support von Nginx, Inc., und ein flexibles Framework für benutzerdefinierte Module bietet. FreeBSD war auch als schnelles und stabiles Betriebssystem bekannt und hatte eine starke Entwicklergemeinschaft. So wurde es eine geeignete Wahl.

Da Netflix sowohl kostenlos als auch Open Source ist, verwendete es ein weiteres Open Source-Projekt namens BIRD Internet Routing Daemon, das jedoch die GPL-Lizenz verwendet. Dieses Tool wurde verwendet, um die Netzwerktopologie von ISPs zu ihrem eigenen Steuerungssystem zu übertragen, das Clients zu ihren jeweiligen Inhalten weiterleitet.

Alle drei dienten als großartige Werkzeuge:

  • 400.000 Stream-Dateien pro Appliance
  • 5000-30.000 Client-Streams pro Appliance
  • 300-1000 Clients pro Platte

Die oben beschriebene Open Connect-Initiative wird in dieser umfassenden Aufzeichnung der NGINX-Konferenz ausführlich erläutert:

Präsentationsfolien hier:

Netflix CDN und Open Source von Gleb Smirnoff

Open Source-Software-Initiative von Netflix

Heute spricht die Open Source Software-Initiative von Netflix von ihrem Engagement für Open Source. Sie haben ihr eigenes Open Source Software Center ! Die GitHub-Seite von Netflix zeigt deutlich die 139 Repositorys, die von 52 Entwicklern verwaltet werden. Alle prädiktiven Ergebnisse, die wir gerade zum Anfassen gesehen haben, basieren auf diesen einzigartigen Open-Source-Projekten, die auf GitHub aufgelistet sind.

Netflix hat eine eigene Deep-Learning-Bibliothek namens Vectorflow, die oben erwähnt wurde. Es gibt noch ein weiteres Prognose- und Analyse-Tool namens Surus. Es verfügt über eine Funktion namens ScorePMML, die eine effiziente Scoring-Vorhersage von Modellen in der Cloud ermöglicht. Surus kann auch zur Erkennung von Ausreißern oder zur Mustererkennung verwendet werden. Netflix hat auch einen Blog-Eintrag darüber.

Zusammenfassung

Zusammenfassend haben wir Ihnen zunächst das maschinelle Lernen vorgestellt, wie sich Netflix als Unterhaltungsempfehlung entwickelt hat, einen praktischen Vergleich zum Netflix-Empfehlungsmodell und zu Netflix Open Connect, gefolgt von der Open Source-Software-Initiative.

Vielen Dank, dass Sie sich die Zeit genommen und den Artikel geduldig gelesen haben. Wir freuen uns auf weitere aufregende Erkundungen!

Abschließend möchten wir die bemerkenswerte Herangehensweise von Netflix an Kunst und Wissenschaft als nicht zwei getrennte Einheiten hervorheben. Aber als schöne Einheit, um Wunder zu schaffen!

Empfohlen

MariaDB: Die Software, die Open Source speichern oder brechen könnte
2019
Installieren und Verwenden von MEGA Cloud Storage unter Linux
2019
openSUSE ist jetzt auf dem Windows-Subsystem für Linux verfügbar
2019