TED: Videoaufnahmen von Objekten können deren Eigenschaften bestimmen

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

08.05.2015 - 12:43

Ein seltsamer Threadtitel für eine noch seltsamere Technologie, die in dieser TED-Rede vorgestellt wird. Prinzipiell geht es darum, dass durch präzise Videoaufnahmen von Objekten sehr viele, unterschiedliche Dinge abgelesen werden können. Anfangs geht es um Geräusche, Sprache und Musik, die Vibrationen an Objekten verursacht, die mittels diversen Algorithmen dann rekonstruiert werden können. Alleine das ist schon beachtlich, denn das funktioniert sogar halbwegs gut mit herkömmlichen Kameras. Weiters können allerdings auch mehr Eigenschaften des Objekts bestimmt werden, um eine dreidimensionale Struktur inklusive den Eigenschaften zu erstellen. Dabei wird zB ein Tuch aufgenommen, das dann im Nachhinein in einer Software bewegt werden kann.

Schaut euch diese TED-Rede an, diese Technologie ist awesome!

New video technology that reveals an object's hidden properties

Subtle motion happens around us all the time, including tiny vibrations caused by sound. New technology shows that we can pick up on these vibrations and actually re-create sound and conversations just from a video of a seemingly still object. But now Abe Davis takes it one step further: Watch him demo software that lets anyone interact with these hidden properties, just from a simple video.

Link: www.ted.com

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14529

09.05.2015 - 15:32

oag!

Denne

Here to stay

Registered: Jan 2005
Location: Germany
Posts: 2801

09.05.2015 - 15:53

Sehr sehr krass :eek:

Rogaahl

Super Moderator
interrupt

Registered: Feb 2014
Location: K
Posts: 2287

09.05.2015 - 16:30

MIT Computer Program Reveals Invisible Motion in Video | The New York Times

Finding the Visible in the Invisible: A team of scientists at the Massachusetts Institute of Technology (M.I.T.) has developed a computer program that reveal...

Kann es mir erst später ansehen, vermute aber das es hier um die gleiche Technik geht, das Video ist schon etwas älter aber auf jeden Fall sehr interessant.

Skatan

peace among worlds!

Registered: Feb 2004
Location: Trieben
Posts: 4243

09.05.2015 - 17:23

Sehr interessante Technik!

Ich sehe trotzdem einige Limitierungen in der Praxis...

Bei den ganzen Sound Dingen -> Woher weiß ich ob die Bewegung wirklich vom Lärm entsteht oder nicht einfach vom Wind, oder weil jemand in der Nähe über den Parkettboden geht? Das aus einer Vielzahl von Eingangsparametern herauszufinden stelle ich mir hier besonders tricky vor...

Und bei den Bewegungsmodellen -> Sieht lustig aus, für einen technischen Einsatz wirds aber wichtig sein sicherzustellen dass sich das reale Modell in Wirklichkeit genauso wie die Simulation verhält.

Vinci

hatin' on summer

Registered: Jan 2003
Location: Wien
Posts: 5817

09.05.2015 - 17:47

Zitat von Skatan
Bei den ganzen Sound Dingen -> Woher weiß ich ob die Bewegung wirklich vom Lärm entsteht oder nicht einfach vom Wind, oder weil jemand in der Nähe über den Parkettboden geht? Das aus einer Vielzahl von Eingangsparametern herauszufinden stelle ich mir hier besonders tricky vor...

Vermutlich anderer Frequenzbereich und schnellere Schwingungen kleinerer Amplitude. Wär sehr interessant wie das Filter mathematisch gesehen funktioniert.

Bogus

C64 Generation

Registered: Mar 2006
Location: Graz
Posts: 3170

09.05.2015 - 18:13

wow. beachtlich.

da werden sich die geheimdienste aber freuen

sk/\r

i never asked for this

Registered: Dec 2002
Location: oö
Posts: 10851

09.05.2015 - 20:10

skynet alpha 0.168!
:eek:

AdRy

Auferstanden

Registered: Oct 2002
Location: Wien
Posts: 5239

09.05.2015 - 20:11

Sieht auf den ersten Blick recht eindrucksvoll aus, nur muss man beachten, dass das man den "input" gekannt hat und demnach per trial und error die parameter so trimmen konnte, dass das richtige rauskommt.

Vollautomatisch wird sowas imho nie gehen (bestenfalls bruteforce und dann sprachanlyse oder sowas). Wie er auch im video sagt, hängt das alles von kamera, licht, umgebung und anderem ab. Außerdem gehts nur wenn die kamera stationär ist. Nachträglich die Kamerabewegung rausfiltern wird wohl nur schwer möglich sein, wenns um 10tel pixel geht.

@Bogus Er sagt im video sogar, dass wesentlich besseren Techniken schon im Einsatz sind (Laser reflektion z.b.)

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19682

11.05.2015 - 11:49

Ich vermute die übliche Ton = MP3 o.Ä. Komprimierung wird da viel kaputt machen denke ich. Uncompressed ... ja ok, siehe unten.

Zitat von AdRy
@Bogus Er sagt im video sogar, dass wesentlich besseren Techniken schon im Einsatz sind (Laser reflektion z.b.)

http://de.wikipedia.org/wiki/Lasermikrofon ?

mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	08.05.2015 - 12:43 Ein seltsamer Threadtitel für eine noch seltsamere Technologie, die in dieser TED-Rede vorgestellt wird. Prinzipiell geht es darum, dass durch präzise Videoaufnahmen von Objekten sehr viele, unterschiedliche Dinge abgelesen werden können. Anfangs geht es um Geräusche, Sprache und Musik, die Vibrationen an Objekten verursacht, die mittels diversen Algorithmen dann rekonstruiert werden können. Alleine das ist schon beachtlich, denn das funktioniert sogar halbwegs gut mit herkömmlichen Kameras. Weiters können allerdings auch mehr Eigenschaften des Objekts bestimmt werden, um eine dreidimensionale Struktur inklusive den Eigenschaften zu erstellen. Dabei wird zB ein Tuch aufgenommen, das dann im Nachhinein in einer Software bewegt werden kann. Schaut euch diese TED-Rede an, diese Technologie ist awesome! New video technology that reveals an object's hidden properties Subtle motion happens around us all the time, including tiny vibrations caused by sound. New technology shows that we can pick up on these vibrations and actually re-create sound and conversations just from a video of a seemingly still object. But now Abe Davis takes it one step further: Watch him demo software that lets anyone interact with these hidden properties, just from a simple video. Link: www.ted.com
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14529	09.05.2015 - 15:32 oag!
Denne Here to stay Registered: Jan 2005 Location: Germany Posts: 2801	09.05.2015 - 15:53 Sehr sehr krass
Rogaahl Super Moderator interrupt Registered: Feb 2014 Location: K Posts: 2287	09.05.2015 - 16:30 MIT Computer Program Reveals Invisible Motion in Video \| The New York Times Finding the Visible in the Invisible: A team of scientists at the Massachusetts Institute of Technology (M.I.T.) has developed a computer program that reveal... Kann es mir erst später ansehen, vermute aber das es hier um die gleiche Technik geht, das Video ist schon etwas älter aber auf jeden Fall sehr interessant.
Skatan peace among worlds! Registered: Feb 2004 Location: Trieben Posts: 4243	09.05.2015 - 17:23 Sehr interessante Technik! Ich sehe trotzdem einige Limitierungen in der Praxis... Bei den ganzen Sound Dingen -> Woher weiß ich ob die Bewegung wirklich vom Lärm entsteht oder nicht einfach vom Wind, oder weil jemand in der Nähe über den Parkettboden geht? Das aus einer Vielzahl von Eingangsparametern herauszufinden stelle ich mir hier besonders tricky vor... Und bei den Bewegungsmodellen -> Sieht lustig aus, für einen technischen Einsatz wirds aber wichtig sein sicherzustellen dass sich das reale Modell in Wirklichkeit genauso wie die Simulation verhält.
Vinci hatin' on summer Registered: Jan 2003 Location: Wien Posts: 5817	09.05.2015 - 17:47 Zitat von Skatan Bei den ganzen Sound Dingen -> Woher weiß ich ob die Bewegung wirklich vom Lärm entsteht oder nicht einfach vom Wind, oder weil jemand in der Nähe über den Parkettboden geht? Das aus einer Vielzahl von Eingangsparametern herauszufinden stelle ich mir hier besonders tricky vor... Vermutlich anderer Frequenzbereich und schnellere Schwingungen kleinerer Amplitude. Wär sehr interessant wie das Filter mathematisch gesehen funktioniert.
Bogus C64 Generation Registered: Mar 2006 Location: Graz Posts: 3170	09.05.2015 - 18:13 wow. beachtlich. da werden sich die geheimdienste aber freuen
sk/\r i never asked for this Registered: Dec 2002 Location: oö Posts: 10851	09.05.2015 - 20:10 skynet alpha 0.168!
AdRy Auferstanden Registered: Oct 2002 Location: Wien Posts: 5239	09.05.2015 - 20:11 Sieht auf den ersten Blick recht eindrucksvoll aus, nur muss man beachten, dass das man den "input" gekannt hat und demnach per trial und error die parameter so trimmen konnte, dass das richtige rauskommt. Vollautomatisch wird sowas imho nie gehen (bestenfalls bruteforce und dann sprachanlyse oder sowas). Wie er auch im video sagt, hängt das alles von kamera, licht, umgebung und anderem ab. Außerdem gehts nur wenn die kamera stationär ist. Nachträglich die Kamerabewegung rausfiltern wird wohl nur schwer möglich sein, wenns um 10tel pixel geht. @Bogus Er sagt im video sogar, dass wesentlich besseren Techniken schon im Einsatz sind (Laser reflektion z.b.)
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19682	11.05.2015 - 11:49 Ich vermute die übliche Ton = MP3 o.Ä. Komprimierung wird da viel kaputt machen denke ich. Uncompressed ... ja ok, siehe unten. Zitat von AdRy @Bogus Er sagt im video sogar, dass wesentlich besseren Techniken schon im Einsatz sind (Laser reflektion z.b.) http://de.wikipedia.org/wiki/Lasermikrofon ?