Home

@Pimmetje & ik hadden het idee dat het vanuit een xvid sub automatisch omgezet kan worden naar een 720p / x264 Sub

Het idee is vrij simpel,

Scan een xvid audio spoor, kijk wat het volume niveau is.

Kijk in de srt naar de timing van de sub, en zoek info (decibelniveau / frequentie (hertz?) op.

Zoek met ongeveer30 sec voor en na de huidige positie (totaal 60 seconden, met mediaan de xvid source) in de 720p op. (met eventueel het verschil van de eerste algehele spoor volume meting)

Pas de timing avn de bron sub aan, en scan de volgende paar regels in de srt.
Volgens mij stelt de code helemaal niet zo veel voor, alleen heb ik het probleem dat ik niet weet hoe ik audio kan scannen.

Vermoedelijk heb je hier al gauw C / C++ voor nodig, en daar heb ik totaal geen ervaring mee.

Maar het zou wel uber-relaxed zijn als dit in de praktijk haalbaar zou zijn! Nooit meer handmatig resycnen, nadeel: je hebt de xvid EN de 720p nodig..

Zijn er hier op het forum dev's aanwezig die weten hoe ze audio (en misschien video) kunnen parsen en dit project op zich willen nemen?

Eventueel wil ik dit zelf doen, maar heb momenteel een ander groots project (zie signature ).

nog even een snelle schets van het proces:

Het zou fijn zijn als iemand hier inderdaad kennis van heeft. En dan je de xvid en HD file nodig hebt is volgens mij voor de meeste subbers geen probleem want die hebben ze vaak al alle twee

Ik betwijfel of je aan de hand van geluidsniveau de subs kan gaan syncen. Je hebt ook nog vele andere geluiden die er tussen zitten.

Quote:

Ik betwijfel of je aan de hand van geluidsniveau de subs kan gaan syncen. Je hebt ook nog vele andere geluiden die er tussen zitten.

Zou inderdaad wel handig zijn
Maar of het echt mogenlijk is... ?

Het is mogelijk met Frames !!!!

De start frame van de Xvid in Tijd, en die vergelijken met de X264.
Je maakt een programma, 2 video vensters.

links de Xvid versie, en rechts de X264 versie.

Selecteer bij allebij wanneer de Sub moeten starten en de rest sync vanzelf (frame Based).

Punt is heel belangrijk dat je de FrameCount met berekenen met DIV Framerate van de Video. Anders krijg je scheve tijden.

Eigenlijk wel easy om te maken

het moet automatisch gaan ;-)

Gaat niet lukken.. automatisch.. Op audio afgaan is nooit 100% accuraat.
wel leuk idee Though.

devixl:

Gaat niet lukken.. automatisch.. Op audio afgaan is nooit 100% accuraat. wel leuk idee Though.

Dan zou je een algoritme ervoor moeten verzinnen, en zodra er een match is in de frequentie, op dat punt het verschil in tijd overnemen.

Wordt een flinke klus dan.

Je kan peaklevels makkelijk opvangen, en deze converteren naar een algoritme.
Maar dan nog vraag ik me af, het accurate ervan.

Ik zou dan eerder kiezen voro 2 video's, 2 klikken voor wanneer de sub moet beginnen in beide video's + 1x convert knop.

Semi - automatisch zou ik zeggen.

devixl:

Dan zou je een algoritme ervoor moeten verzinnen, en zodra er een match is in de frequentie, op dat punt het verschil in tijd overnemen. Wordt een flinke klus dan. Je kan peaklevels makkelijk opvangen, en deze converteren naar een algoritme. Maar dan nog vraag ik me af, het accurate ervan. Ik zou dan eerder kiezen voro 2 video's, 2 klikken voor wanneer de sub moet beginnen in beide video's + 1x convert knop. Semi - automatisch zou ik zeggen.

hmm.. ik wens jullie in ieder geval succes..

Seba28:

hmm.. ik wens jullie in ieder geval succes..

Je zou - theoretisch - iets van audiomatching kunnen doen ja. Kijken welk geluid er met "zin 1" is is bij de xvid en dat vervolgens bij de mkv. Dat per zin toepassen en you're good to go.

Andere optie is video-frame vergelijking. Als een bepaald % van de pixels overeen komt is het dezelfde shot. Wel zwaarder/lastig schat ik zo.

Sypher wijzigde dit bericht op 16-01-2010 om 19:06, totaal 1 keer bewerkt

Sypher:

Je zou - theoretisch - iets van audiomatching kunnen doen ja. Kijken welk geluid er met "zin 1" is is bij de xvid en dat vervolgens bij de mkv. Dat per zin toepassen en you're good to go. Andere optie is video-frame vergelijking. Als een bepaald % van de pixels overeen komt is het dezelfde shot. Wel zwaarder/lastig schat ik zo.

Ik heb hier een tijdje terug over zitten denken. Heb alleen geen tijd gehad om het uit te werken. Mijn aanpak was:

Een bandpass filter gebruiken op beide files. Deze filter zou ingesteld moeten worden op het menselijk stem geluid. Hier kan een redelijk fijn frequentie bereik gekozen worden omdat we niet opzoek zijn om een karaoke tape te maken maar om stem geluiden te identificeren.

Elke keer als de bandpass triggered zet je een tijdsmarkering neer.

Voor beide files heb je nu een aantal punten. Voor efficiëntie (en simpel maken van het algoritme) kunnen we deze punten samen voegen tot reeksen. Als punten dicht genoeg bij elkaar liggen kunnen we ze samen voegen).

Er zal nu in de twee reeksen naar overeenkomstige markers gezocht moeten worden. In een bereik van een seconde of 10 zal je een aantal punten moeten vinden waar de verhoudingen tussen de reeksen gelijk moet zijn. (Bijv Reeks 1: 1, 2, 1 seconde tussenpoos. Reeks 2: 2,4,2 seconde tussenpoos. Dit voorbeeld is sterk overdreven.)

Deze markers zullen je nu een tijd verschuiving opleveren tussen de 2 files. Ook de reclame blokken zullen gevonden worden. (Voornamelijk vervelend bij Grey's Anatomy. De meeste andere series hebben tussen de xvid en de x264 dezelfde source).

Deze tijds verschuiving kan dan gebruikt worden (met een interpolatie functie) om voor elke individuele sub regel een hersync uit te voeren.

Dit zou volgens mij volledig automatisch moeten kunnen. De stem reeksen kunnen ook gebruikt worden door de vertaler om de sync te controleren. Als je de regels van de bron sub met hun toon tijd plot zal die redelijk overeen moeten komen met de stem plot.

Er zijn op codeproject.com aardig wat voorbeelden te vinden hoe een (base)bandpass filter te schrijven. Dit kan in C#. De directX api is hiervoor goed te gebruiken.

http://www.codeproject.com/KB/audio-video/cswavplayfx.aspx
http://wiki.answers.com/Q/What_is_baseband_filter

yodax79:

Ik heb hier een tijdje terug over zitten denken. Heb alleen geen tijd gehad om het uit te werken. Mijn aanpak was: Een bandpass filter gebruiken op beide files. Deze filter zou ingesteld moeten worden op het menselijk stem geluid. Hier kan een redelijk fijn frequentie bereik gekozen worden omdat we niet opzoek zijn om een karaoke tape te maken maar om stem geluiden te identificeren. Elke keer als de bandpass triggered zet je een tijdsmarkering neer. Voor beide files heb je nu een aantal punten. Voor efficiëntie (en simpel maken van het algoritme) kunnen we deze punten samen voegen tot reeksen. Als punten dicht genoeg bij elkaar liggen kunnen we ze samen voegen). Er zal nu in de twee reeksen naar overeenkomstige markers gezocht moeten worden. In een bereik van een seconde of 10 zal je een aantal punten moeten vinden waar de verhoudingen tussen de reeksen gelijk moet zijn. (Bijv Reeks 1: 1, 2, 1 seconde tussenpoos. Reeks 2: 2,4,2 seconde tussenpoos. Dit voorbeeld is sterk overdreven.) Deze markers zullen je nu een tijd verschuiving opleveren tussen de 2 files. Ook de reclame blokken zullen gevonden worden. (Voornamelijk vervelend bij Grey's Anatomy. De meeste andere series hebben tussen de xvid en de x264 dezelfde source). Deze tijds verschuiving kan dan gebruikt worden (met een interpolatie functie) om voor elke individuele sub regel een hersync uit te voeren. Dit zou volgens mij volledig automatisch moeten kunnen. De stem reeksen kunnen ook gebruikt worden door de vertaler om de sync te controleren. Als je de regels van de bron sub met hun toon tijd plot zal die redelijk overeen moeten komen met de stem plot. Er zijn op codeproject.com aardig wat voorbeelden te vinden hoe een (base)bandpass filter te schrijven. Dit kan in C#. De directX api is hiervoor goed te gebruiken. http://www.codeproject.com/KB/audio-video/cswavplayfx.aspx http://wiki.answers.com/Q/What_is_baseband_filter

Ik ben geen genie hoor!

Ik denk echter dat je de verhoudingen wel nodig hebt voor een resync. Je moet de verhoudingen zien als een vingerafdruk voor een bepaalde plek in elk geluidsspoor. Elke vingerafdruk komt maar op 1 plek voor in elk spoorgebied. Door deze afdrukken naast elkaar te leggen zou je de verschuiving moeten kunnen bepalen voor elke plek (de rest door interpolatie) tussen de 2 sporen. Dit verschuivingsbestand kan je dan toepassen op de te syncen sub.

Het is niet in alle gevallen voldoende om bij een sync een paar sec erbij op te tellen. De reclame blokken zorgen vaak ook voor een verspringing. Dit probleem heb je niet door "mijn vingerafdrukken".

Zoals ik het begrijp wil je een xvid sub syncen naar een x264 film bestand, toch?

btw: de punten die gemaakt zijn over het type geluidspoor (5.1 of 2.0) zou bij mijn methode geen probleem zijn; of je pakt het center kanaal (waar de stemmen zitten) of je laat directx een downmix doen)

yodax79:

Ik ben geen genie hoor! Ik denk echter dat je de verhoudingen wel nodig hebt voor een resync. Je moet de verhoudingen zien als een vingerafdruk voor een bepaalde plek in elk geluidsspoor. Elke vingerafdruk komt maar op 1 plek voor in elk spoorgebied. Door deze afdrukken naast elkaar te leggen zou je de verschuiving moeten kunnen bepalen voor elke plek (de rest door interpolatie) tussen de 2 sporen. Dit verschuivingsbestand kan je dan toepassen op de te syncen sub. Het is niet in alle gevallen voldoende om bij een sync een paar sec erbij op te tellen. De reclame blokken zorgen vaak ook voor een verspringing. Dit probleem heb je niet door "mijn vingerafdrukken". Zoals ik het begrijp wil je een xvid sub syncen naar een x264 film bestand, toch? btw: de punten die gemaakt zijn over het type geluidspoor (5.1 of 2.0) zou bij mijn methode geen probleem zijn; of je pakt het center kanaal (waar de stemmen zitten) of je laat directx een downmix doen)

Ik denk zeker dat het mogelijk is. Simpel qua concept, maar de uitvoering...

Ik heb geen ervaring met DirectX. Ik heb wel gelezen dat de C# implementatie vrij goed is. Ook schijnt het maken van een geluidsfilter vrij goed te doen te zijn. Ik had een tijdje terug een goed voorbeeld gevonden van een grafische equalizer op codeproject.com. Als je die heb is het eigenlijk een kwestie van de equalizer loggen.

Het probleem is denk het ontbreken van de kennis bij mij. Het uitzoeken daarvan is natuurlijk wel een leuk project

http://www.codeproject.com/KB/audio-video/SoundCatcher.aspx deze bedoel je volgens mij.

Haha, kennis gedeelt bij deze... o ja, ik heb hier ook (nog) geen kaas van gegeten

to be continued...

Dit moet ik na de tentamens ook maar eens gaan bekijken

Ik was eigenlijk ook al een tijdje aan het nadenken over dit

Lijkt me zeker mogelijk, maar één opmerking! Volgens mij zal dit het beste gaan via het vergelijken van beelden en tijd (miss ook makelijker om te implementeren dan met geluid?)

Waarez:

Ik was eigenlijk ook al een tijdje aan het nadenken over dit Lijkt me zeker mogelijk, maar één opmerking! Volgens mij zal dit het beste gaan via het vergelijken van beelden en tijd (miss ook makelijker om te implementeren dan met geluid?)

Dit zie je goed,


Het gaat idd voornamelijk om de commercial braeks