Technologie

Bei mufin wird durch mathematische Extraktion bestimmter Merkmale aus einem Musiktitel  eine objektive und von menschlichen Einflüssen unabhängige Beschreibung der Eigenschaften des Musiktitels erzeugt. Anhand dieser Beschreibung können zueinander ähnliche Titel aus einer großen Datenbasis herausgefiltert werden.

Außerdem werden standardisierte Informationen über das Musikstück generiert, die in der nächsten Generation von Suchmaschinen - ähnlich wie heute die Volltextsuche für Textdokumente – eine gezielte Suche nach bestimmten Musikmerkmalen ermöglichen wird. Die Entwicklung solcher Technologien zur Medien-Annotation und semantischen Vernetzung von musikalischen Inhalten treibt die mufin GmbH auch gemeinsam mit dem Fraunhofer Institut und der Deutschen Nationalbibliothek voran.

Im Rahmen des vom Bundesministerium für Wirtschaft und Technologie (BMWi) initiierten Forschungsprogramms Theseus entwickelt die Mufin GmbH Technologien rund um das Thema Medien-Annotation und semantische Musikvernetzung.

Was ist der Vorteil gegenüber menschlicher Annotation der Merkmale?

  • Geringer Zeitbedarf
  • Objektivität (frei von persönlichen Vorlieben oder Hörgewohnheiten)
  • Vergleichbarkeit (zwei Menschen werden das selbe Musikstück nie genau gleich bewerten)
  • größere Datenbasis möglich (keine Beschränkung auf den Mainstream, es kann auch Musik von Interpreten gefunden werden, von denen man bisher noch nie gehört hatte)
  • Online und Offline/lokal anwendbar
  • Geringe Kosten

Wie arbeitet das Mufin System?

Mufin führt zunächst eine Analyse der Musikstücke auf Signalebene durch; dabei wird sowohl der zeitliche Verlauf als auch der Frequenzbereich betrachtet. Aus den so gewonnenen Merkmalen werden dann weitere Merkmale abgeleitet, die bestimmte Eigenschaften des Audiosignals abbilden, welche für die menschliche Musikwahrnehmung direkt oder indirekt relevant sind.

Als Ergebnis unserer Forschung ist es uns gelungen, diejenigen Merkmale zu finden, die für eine musikalische Ähnlichkeit relevant sind und aus ihnen einen Modellraum zu bilden. In diesem Modellraum lassen sich nun Ähnlichkeiten unter den Modellen berechnen, welche in der Summe wiederum auf Ähnlichkeiten zwischen den Musikstücken schließen lassen.

Was heißt Parametrisierung?

Parametrisierung bedeutet, dass der Nutzer entscheiden kann, auf welche musikalischen Aspekte er besonderen Wert legt und welche ihm eher unwichtig sind. Das Mufin-System reagiert darauf, indem es die entsprechenden Aspekte bei der Ähnlichkeitssuche stärker bzw. schwächer berücksichtigt. Auf diese Weise ist eine wirkliche personalisierte Suche möglich.

Die Parametrisierung kann entweder explizit durch entsprechende Einstellmöglichkeiten oder implizit durch ein selbstlernendes System erfolgen.

Wie unterscheiden sich holistische und aspektbasierte Ähnlichkeitssuche?

Bei der holistischen Suche werden alle Merkmale jeweils für den gesamten Musiktitel miteinander verglichen und so ein starres Maß für die Ähnlichkeit zweier Songs ermittelt. Der aspektbasierte Ansatz erlaubt es dem Nutzer, die Suche auf seine Bedürfnisse anzupassen, indem er die Gewichtung intuitiv verständlicher Parameter (wie z.B. ‚Intensität des Rhythmus’) verändert.

Welche musikalischen Aspekte werden bei der Ähnlichkeitssuche berücksichtigt?

Es gehen u.a. rhythmische Eigenschaften (z.B. Intensität des Rhythmus, Tempo, Perkussivität des Musikstückes), Klangfarbe, harmonische und melodische Eigenschaften in unterschiedlicher Gewichtung in das Ergebnis ein.


Ist die Rückgewinnung des Audiomaterials aus den Fingerprints möglich?

Nein.

Wie groß ist ein Mufin-Fingerprint?

Ein Fingerprint benötigt derzeit, unabhängig von der Länge der Audiodatei, ca. 3 kB.

Wie lange benötigt die Extraktion eines Musiktitels?

Ein durchschnittlicher Musiktitel wird zurzeit in etwa 2-10 Sekunden extrahiert (handelsüblicher PC, inklusive Decodierung aus dem mp3 Format).

Was ist der MPEG-7 Standard?

MPEG-7 ist ein ISO Standard, der von der Moving Picture Experts Group (MPEG), definiert wurde. Er dient der Beschreibung von multimedialen Daten mit Hilfe von Metainformationen. Es handelt sich bei MPEG-7 im Gegensatz zu MPEG-1, MPEG-2 und MPEG-4 nicht um einen Kompressionsstandard für Video- oder Audiodaten.

Die Mufin GmbH und das Fraunhofer IDMT arbeiten aktiv am MPEG-7 Standard mit und haben u.a. ihre Lowlevel1-Features in den Standard mit eingebracht. Der Einsatz der Technologie von Mufin garantiert im Gegensatz zu proprietären, nicht standardisierten Verfahren, den einfachen Datenaustausch, z.B. im Bereich zukünftiger Suchmaschinen.