today i updated this wordpress installation and moved all “pages” to “posts”. I also removed old posts, predominantly private ones, because i think i don’t want to write about my private life anymore. There are much more interesting topics about which i could write. To be honest right now i’m not even sure someone except for 5 friends is reading this blog – So leave me a comment to prove the opposite :p

However, the switch from pages to post makes it possible to write “comments” to my howtos. You can see there are two new categories, one for Video stuff and one for Audio stuff. I merged “special and security” into Linux (as they’re Linux related) and “stuff” went into “general”.

BTW. i will continue to write in English and sometimes in German. Usually I’m writing in English, because it’s “learning by doing”.

Have fun

Empfang

In vielen Orten ist es nicht so einfach DVB-T zu empfangen in manchen Orten angeblich sogar unmöglich. Meiner Erfahrung nach kommt es hierbei sehr stark auf die Antenne an. Das heisst: Wenn man mit der mitgelieferten Antenne nix empfängt, muss das nicht heißen das es kein DVB-T gibt. Wenn auf einer Website steht “Nur via. Dachantenne” heisst dies nicht automatisch das man unbedingt eine Dachantenne bräuchte. Hier ist angeblich nur DVB-T via Dachantenne möglich. Ich hab’s mal ausprobiert – Die mitgelieferte Stabantenne bringt keinen Empfang. Eine Stabantenne für 20 Euro mit Verstärker (15dB) bringt, sofern direkt am Fenster) einen Empfang der alle paar Minuten abbricht und relativ schlecht ist – Also auch keine Lösung. Spasseshalber habe ich als Antenne eine alte Rahmenantenne die vor 10 Jahren mal an meiner Stereo-Anlage war, angeschlossen – ca. 70% der empfangbaren Programme funktionieren fein und Problemlos – Und das ganze ohne Verstärker. Eine bessere Möglichkeit wäre es, sich eine DVB-T Antenne selber zu bauen. Der Aufwand ist, je nachdem für was für eine Antenne man sich entscheidet, sehr gering und der Kostenpunkt ebenfalls. Ein paar Artikel dazu habe ich unten verlinkt. Ich habe mich selber auch daran versucht – Mein erster Versuch ist aber fehlgeschlagen. Ich habe aber auch etwas improvisiert und nicht die richtigen Materialien verwendet…

• CNET Artikel: DVB-T-Antenne für 5 Euro: So klappt der Eigenbau
• CNET Artikel: Die beste Eigenbau-DVB-T-Antenne: Doppelquad für 5 Euro basteln
• CNET Artikel: Die beste DVB-T-Antenne der Welt: Multi-Doppelquad im Eigenbau
• CNET Artikel: DVB-T-Antennen im Eigenbau: bester Empfang dank Reflektor
• CNET Artikel: DVB-T-Antennenverstärker im Eigenbau für perfekten TV-Empfang
• CNET Artikel: DVB-T-Antennenverstärker mit externer Speisung im Eigenbau
• Artikel über DVB-T Antennen im VDR Wiki

Einrichtung

Die Einrichtung ist relativ einfach. Ich würde an dieser Stelle empfehlen, das Script dvbt-scanaid zu benutzen. Es wird eine Liste mit Frequenzen erstellen die man dann mit “scan” durchsuchen kann. Eine genaue Anleitung dafür findet sich auch auf der dazugehörigen Website welche ich unten verlinkt habe.

• DVB-T unter Linux

Aufnahme

Zum Aufnehmen von DVB-T finden sich eine menge Anleitungen. Leider haben die bei mir alle nicht funktioniert. Sobald ich avidemux oder dvbcut genutzt habe, war das Video nichtmehr in Sync. Sobald ich das endlich hinbekommen hatte, konnte ich das Video nicht in ein andere Format encodieren aufgrund von Fehlern im Video. Ich habe wie gesagt 3 Tage an dem Kram gesessen, mag sein das bei jemandem anderen, anderes gut funktioniert; hier tats die folgende Variante.

# direkt als mpeg aufzeichnen
mencoder -oac copy -ovc copy -of mpeg -mpegopts format=dvd dvb://KANAL -o /pfad/wohin/es/soll/Datei.mpg -endpos 00:90:00 -quiet

Wobei ich mit Endpos angebe das ich 90 Minuten aufzeichnen will.

Encodieren

Sobald man diesen Stream aufgenommen hat, will man ihn wahrscheinlich in ein andere Format bringen (x264, aac, mp4 hier). Vorher natürlich Werbung entfernen. Zum Werbung entfernen bieten sich 2 Tools an. Avidemux und dvbcut. Macht man das ganze nun in avidemux hat man a/v sync Probleme. dvbcut erschien mir da mehr zu funktionieren. Wie auch immer, damit es nicht zu A/V Sync Problemen kommt muss man die Datei erstmal transkodieren. Dies soll angeblich mit “replex” gehen und auch mit “projectx” – Bei replex hatte ich anschliessend eine Datei die im mplayer ständig Fehler liefert aber funktioniert – Trotzdem A/V Sync Probleme nach Bearbeitung mit avidemux. Projectx wollte ich eigentlich nicht benutzen weil es Java ist, habe mich dann aber doch dafuer entschieden.

Probleme & Anmerkungen

projectx Datei.mpg

summary of created media files:
.Video (m2v):   239668 Frames   02:39:46.720            '/home/wdp/Datei.m2v'
Audio 0 (mp2):  399447 Frames   02:39:46.728    0/0/3/25        '/home/wdp/Datei.mp2'
=> 2,643,770,092 bytes written...
-> we have 101 warnings/errors.
done...    1 collection(s) processed  @ 00:30:27.832

mplex -f 8 -o repaired.mpg Datei.m2v Datei.mp2

mplex -f 8 -o repaired.mpg Datei.m2v -O 80ms Datei.mp2

ffmpeg -y -i repaired.mpg -vcodec copy -acodec copy -f dvd repaired2.mpg

-vf crop=704:480:8:32,dsize=16/9,scale=720:576

-vf crop=704:480:8:32,dsize=16/9,scale=720:576,hqdn3d,gradfun -sws 9

mencoder -sws 7 -ovc x264 -x264encopts subq=5:bframes=3:weight_b:bitrate=1800:nr=300:keyint=25 -oac pcm -channels 1 -srate 4000 -of rawvideo -o title.264 final_source.mpg -vf pullup,softskip,yadif=0,harddup

mencoder -sws 7 -ovc x264 -x264encopts subq=5:bframes=3:weight_b:bitrate=1800:nr=300:keyint=25 -oac pcm -channels 1 -srate 4000 -of rawvideo -o title.264 final_source.mpg -vf pullup,softskip,yadif=0,crop=704:480:8:32,dsize=16/9,scale=720:576,hqdn3d,gradfun,harddup

# dump audio to pcm
mplayer -ao pcm:fast -vc null -vo null final_source.mpg
# convert it to aac
faac -q 100 -c 48000 -b 192 --mpeg-vers 4 audiodump.wav

MP4Box -fps 25 -add title.264 -add audiodump.aac movie.mp4

Sehr geehrte Damen und Herren,

ich schreibe Ihnen diese eMail, da Sie für Änderungen an der deutschen Rechtschreibung
zuständig sind und ich einige Vorschläge habe, die deutsche Rechtschreibung zu verbessern.
Ausserdem möchte ich einige Fälle in der deutschen Rechtschreibung mit dieser eMail
hinterfragen, um ein besseres Verständnis zu entwickeln.

Fangen wir bei "das" und "dass" an. Mir persönlich ist der genaue Unterschied der beiden
Wörter nicht geläufig, so weiss ich zwar, wann ich welches einsetzen muss, verstehe aber
nicht warum man nicht vereinfacht "das" für beides nutzt.  Sobald man "das" und "dass"
ausspricht wird klar, dass es sprachlich gesehen keinen Unterschied gibt. Ich schlage daher
vor, "dass" abzuschaffen. Weiterhin sehe ich ein Problem bei "Vase" und "Vogel". So
wären meiner Meinung nach "Wase" und "Fogel", auch wenn es seltsam aussieht, definitiv
logischer. Eine weitere Reihe an Beispielen bei denen der sprachliche und schriftliche
Unterschied zur Geltung kommen würde, wären: "vulgär", "video" oder auch "viele", "voll",
"vollends", "vokal", "votum". Worauf ich hinaus will ist, dass nicht klar ersichtlich ist,
warum manche Wörter mit einem V geschrieben werden, aber mit einem W gesprochen
werden. Andere mit einem V geschrieben werden aber nach einem F klingen. Natürlich
gilt dies auch für Wörter mit F: Foto beispielsweise ist ein sehr interessantes Wort in diesem
Zusammenhang, soweit mir bekannt sind zwei Formen möglich: Photo und Foto. Allerdings
kein Voto. Spreche ich Foto aus, klingt der F-Laut exakt wie der F-Laut bei Vogel.

Ich würde mich sehr über Rückmeldung freuen, gerne auch mit Erläuterungen, warum Sie
mit meinen Vorschlägen einverstanden, oder nicht einverstanden sind. Sofern erlaubt, würde
ich Ihre Antwort auch gerne im Deutschunterricht an der Abendrealschule, welche ich derzeit
besuche, meiner Deutschlehrerin zeigen.

Mit freundlichen Grüßen

Ich war sehr gespannt, ob es eine Antwort geben würde und umso begeisteter als diese heute eintraf. Natürlich möchte ich die Antwort niemandem vorenthalten und habe um Erlaubnis gebeten, diese in meinem Blog zu veröffentlichen. Nachdem ich die Erlaubnis erhalten habe, habe ich diesen Eintrag geschrieben. Nachfolgend die Antwort-eMail von Herrn Weber zu meinen Fragen:

Sehr geehrter Herr Bruenn,

zunächst einmal ist es erfreulich, dass sich so viele Menschen mit den
Aspekten der deutschen Rechtschreibung so intensiv auseinandersetzen und
dabei an einen Punkt gelangen, an dem scheinbar Selbstverständliches
hinterfragt werden muss.

Zur Unterscheidung von dass und das:

Tatsächlich handelt es sich hierbei um zwei ganz verschiedene Wortarten.
Während das einen Artikel oder ein Pronomen darstellt, wird dass
ausschließlich als Konjunktion zum Einleiten von Nebensätzen verwendet.
Offenbar werden beide Wörter gleich ausgesprochen, obwohl es in einigen
deutschen Regionen durchaus einen hörbaren Unterschied gibt, da hier der
Artikel mit längerem a als in der Konjunktion gesprochen wird. Dass
Grimm'sche Wörterbuch gibt übrigens an, dass die Unterscheidung seit
Mitte des 16. Jahrhunderts gemacht wurde und seitdem weitgehend
anerkannt ist. Ihr Vorschlag, die beiden Worte zusammenzulegen, ist
somit nicht neu, sondern gibt sogar den ursprünglichen Zustand wieder.
Es gab laut Grimm sogar Bestrebungen, auch das Pronomen mit einem,
damals noch gültigen, ß zu schreiben. Eine scheinbar gleiche Lautung
hebt den offensichtlichen Unterschied in den Wortarten und der daraus
resultierenden Verwendung jedoch nicht auf. Würden Artikel/Pronomen und
Konjunktion zusammengelegt, so wäre folgerichtig das der einzige
Artikel, der mit einer Konjunktion zusammenfiele -- der und die
hätten diese Entsprechung nicht. Für Lernende der deutschen Sprache wäre
diese Vermengung sicher auch nicht ganz trivial, wenn man an dann
gültige Beispielsätze denkt, die Artikel und Konjunktion nicht trennen:

Ich finde es gut, das der Baum hier steht.

Insbesondere bei einem Vergleich mit anderen europäischen Sprache täte
sich hier eine Eigenart des Deutschen auf, die grammatikalisch nur
schwer zu begründen wäre. Sie sehen also, dass eine Unterscheidung der
beiden Wortarten durchaus sinnvoll erscheint -- auch wenn man es mit
sehr ähnlichen Wörtern zu tun hat.

Es kommt hinzu, dass jede Sprache von den Sprachbenutzer eigens
mitgestaltet ist und daher nie ein starres System vorliegt. Das führt
aber im Umkehrschluss auch dazu, dass viele Eigenarten einer Sprache als
solche akzeptiert werden und bei der Verwendung keine Schwierigkeiten
bereiten, da sie über die Jahre der Sprachverwendung "gewachsen" sind
und von der Gemeinschaft der Sprachbenutzer aus den unterschiedlichsten
Gründen herausgebildet wurden.

Dies führt direkt zum nächsten Punkt Ihrer Anfrage. Sie hinterfragen
das, was in der Orthographie als "Laut-Buchstaben-Zuordnung" bekannt
ist. Natürlich ist gerade der Wechsel der Lautung für den Buchstaben
v, der als f (Vogel) und als v (Vase) ausgesprochen werden
kann, dabei augenscheinlich kompliziert. Die scheinbar willkürliche
Zuordnung hängt aber in den meisten Fällen mit der Wortherkunft
zusammen. Steht in Fremdwörtern ein v, so wird dies, gemäß §30 der
amtlichen Regelung, in der Regel als v ausgesprochen. Oftmals sind
aber einheimische Wörter, die man mit einer f-Schreibung erwarten würde,
ebenfalls mit v geschrieben. Ein Beispiel hierfür ist Vater, das
noch im Althochdeutschen fater geschrieben wurde und das im
Mittelhochdeutschen als vater auftauchte und auch heute im Englischen
als father existiert. In der Literatur ist die Tendenz belegt, dass
bei dem Phonem f am Wortanfang vor a, e, i, o ein v steht, während
f meist vor u, lr und r steht:

Freund
viel
voll
Vater usw.

Hierbei handelt es sich aber tatsächlich nur um eine Tendenz, die nicht
immer zutreffen muss.

Die Wechsel in solcherlei Schreibungen sind oft nicht mehr eindeutig zu
klären und gründen sich auf Konventionen der Gemeinschaft der
Sprachbenutzer, die sich vor anderen Schreibungen durchgesetzt haben.

Ich hoffe, dass ich, obwohl ich aus Zeitgründen natürlich nicht auf
jedes Beispiel eingehen konnte, die prinzipiellen Umstände klären
konnte. Bei Rückfragen stehe ich natürlich jederzeit zur Verfügung.

Mit den besten Grüßen aus Mannheim
Constantin Weber

Quellangabe: Constantin Weber, Mitarbeiter der Geschäftsstelle des Rats für deutsche Rechtschreibung | Internetseite: http://www.rechtschreibrat.com/

Fand ich persönlich ziemlich interessant, indirekt ist es zwar immernoch ein “ist einfach so”, dennoch ist man hier auch auf die Entwicklung eingegangen und ich kann mit der Antwort definitiv mehr anfangen, als mit einem “ist einfach so”. In diesem Sinne: Wieder was gelernt, vielen Dank für die Antwort!

P.S: In einem Jahr hinterfrage ich dann nochmal, warum man im Deutschen 42 (Zwei (2) und Vierzig (40)) und im Englischen 42 (Fourty (40) Two (2)) sagt (Die Zahlen also genau umgedreht. Da wirkt das Englische richtig, das Deutsche falsch.)

Der Schreibstil ist eigentlich ganz Klasse, was mich manchmal ein bisschen stört ist das die Wortwahl hin und wieder nichtmehr auf dem hohen Niveau gehalten wird. Beispielsweise stört mich das Wort “Schiss” im Verlaufe des Buches (Nein, nicht das von “Angst haben”) – Bei einem Kentauren würde man sich über diese Wortwahl nur wenig wundern. Nunja.

Aber zum Buch:

Elfenkönigin

Das Buch gibt interessante Einblicke in das Leben und die Gefühlswelt von Emerelle, der Elfenkönigin. Interessant finde ich auch den Rückblick beziehungsweise die Erzählungen von vergangenen Zeiten, wie den Drachenelfen. Schlussendlich fragt man sich nach dem Buch aber wahrscheinlich immernoch ob Emerelle nun eigentlich gut oder böse ist – Eigentlich gut, aber irgendwie auch wieder nicht. Was ich besonders interessant fand in diesem Buch sind die Trolle. Der Troll der den “Welpen” half und Ogrim, mit seiner Entscheidung. Klasse gemacht.

Questions & Answers

I got a lot of Questions and managed to ask a few guys (for example in the Freenode Channel #mplayer on irc.freenode.net) to answer those, some of the answers i found in the man-pages or documentation of several projects.

Reason(s) for Encoding, or: Why should i re-encode a Video.

The simpliest answer to this is: You should not. Encoding a Video, or Re-Encoding a Video is mostly done to make the overall filesize smaller, or to play it on another hardware or software player (or on lower-end hardware). As soon as you encode a Video to a compressed format, it will loose information. If you re-encode a already compressed video it will loose even more information. If you want the highest Quality, you don’t want to (re-)encode a video, you want to let it as it is.

Black Borders: Bad or Good?

The mencoder documentation says (25th dec 09) that you want to avoid black borders within a video, because they hurt quality. On another page in the documentation they give examples how to add black borders with the expand video filter. One might get confused, first they say it’s bad, and then they show you how to do it. The documentation is correct though: Some Video Players (Hard & Software) don’t play videos correctly if the dimensions aren’t correct. You can make the dimensions (resolution) correct by adding black borders. Thus the Answer to this question is: Try to Avoid them, use them only if needed.

Can you improve Quality of Videos by Re-Encoding?

Even if i’d answer “yes” this wouldn’t be true. And if you don’t know the answer, you probably didn’t read the first Entry in this small FAQ. No. Video Quality does not get better if you re-encode a video. There are a few Reasons why it might look better, it could probably look more softer (loosing detail, means losing noise). It might also be possible to remove artifacts by re-encoding.

Formula / Maths

Due to reading a lot of pages, i found out some useful formula to calculate some stuff and i added my own stuff. Here’s a list:

Calculating the Bitrate with a given target_size.

BITRATE = ( TARGET_SIZE_IN_MB - SOUND_SIZE_IN_MB ) * 1024 * 1024 / LENGTH_IN_SEC * 8 / 1000

Example:

    # A Video of 90 Minutes (5400 Seconds) with 120 MB
    # of Audio - We want a Size of 700 MB overall.
    ( 700 - 120 ) * 1024 * 1024 / 5400 * 8 / 1000
    = 900.99863

Explaination:
In case you’re using a fixed bitrate for video-encoding (like i) this might be useful. You can calculate what bitrate you need for a given Filesize. You need to set a bitrate for example for Two-Pass Encoding.

Calculate the Bits per Pixel

BPP = ( BITRATE * 1000 ) / ( WIDTH * HEIGHT * FPS )

Example:

    ( 900 * 1000 ) / ( 784 * 326 * 25 )
    = 0.14085

Explaination:
This Formula can give you an “idea” on how good your movie will look later with your settings (Resolution and Bitrate). Of course it depends on the Source Material and a few other things, however, it can give you an idea whether to change the bitrate or the resolution. Here’s a list what the resulting lines could mean:

    0.0  - 0.15  = Will most likely look bad
    0.16 - 0.20  = Will look okay, you might notice blocks
    0.21 - 0.25  = Will look good
    > 0.25       = You won't notice much difference or you're wasting bits.

Calculate the Bits per Block

BPB = ( BITRATE * 1000 ) / ( FPS * ( ( WIDTH * HEIGHT ) / BLOCKSIZE ) )

Example:

    ( 900 * 1000 ) / ( 25 * ( ( 784 * 326 ) / ( 16 * 16 ) )
    = 36.05859

Explaination:
A Block is usually 16*16. The BPB are just another variant of the BPP (Which gives you numers with 0., while the BPB can have numbers starting with 0 up to 100 or more. The following List might give you an idea what BPB are good and which not:

    0  - 39  = Most likely bad quality (might be still okay for you)
   40  - 49  = Quality is okay
   50  - 59  = Quality is good
   > 60      = You're wasting bits

Calculate nearest 16

NUM = VALUE + (( X - 0.( VALUE / 16 ) ) * 16 )

Example:

    # VALUE = 700
    700 + ( ( 1 - 0.75 ) * 16 )
    = 704
    # VALUE = 231
    231 + ( ( 0 - 0.43750 ) * 16 )
    = 224

Explaination:
One important side note: You might need to calculate with more than 2 numbers after the comma. 5 is a good choice. This depends ofc on how good your calculator is doing rounding. However. This Calculation is somewhat tricky. First you’re dividing the value through 16. Remove the part before the comma: 43,7544 = 0,7544. If that number is greater than 0.5, X will be 1, if it’s smaller than 0.5 X will be 0. (Thats was the tricky part). Now you just need to calculate as shown in my examples and it will give you the nearest through 16 dividable number. This is handy if you want to scale the width and height and want to make sure that it’s dividable through 16 (thats usually what you want at videos).

Getting Information & Calculating Stuff – Bash Snippets

Most people will tell you, and the documentation states “identify the source material”. Here are some Bash Snippets which will try to help you with that job. However, you still want to have some additional tools installed.

Calculate Bitrate

###
# this function
# calculates the bitrate. You need to provide:
# fps, length, audio-size in mb, wanted video size
#
# param fps
# param length
# param audio size
# param overall wanted size
# return $BITRATE
###
function calculateBitrate() {

	local FPS=$1
	local LENGTH=$2
	local AUDIO_SIZE=$3
	local SIZE=$4
	# calculate with scale=5 to be more precise
	local A=$(echo "scale=5;$SIZE - $AUDIO_SIZE" | bc);
	local B=$(echo "scale=5;$A*1024*1024/$LENGTH*8/1000" | bc);
	# remove the decimal part
	local C=$(echo $B | sed 's/\..*//g');

	NEWBITRATE=$C

}

Calculate the Size

function calculateSize() {
	#calculateSize $FPS $LENGTH $AUDIO_SIZE $NEWBITRATE
	local FPS=$1
	local	LENGTH=$2
	local	AUDIO_SIZE=$3
	local BITRATE=$4
	# calculate with scale=5 to be more precise
	local A=$(echo "scale=5;$BITRATE*1000*$LENGTH/8/1024/1024" | bc);
	local B=$(echo "scale=5;$A+$AUDIO_SIZE" | bc);
	# remove the decimal part
	local C=$(echo $B | sed 's/\..*//g');

	NEWSIZE=$C

}

Calculate the BPB

###
# The Bits per Block (BPB) are also important
# 40-60 is a good value, everything below is not
# good for quality, and everything higher than 60
# is a waste of bits.
# You need to provide width, height, bitrate and
# fps to this function and it will tell you the
# bpb
#
# param width
# param height
# param bitrate
# param fps
# return $BPB
###
function calculateBPB() {

	local WIDTH="$1"
	local HEIGHT="$2"
	local BITRATE="$3"
	local FPS="$4"

	local A=$(echo "$BITRATE * 1000" | bc);
	local B=$(echo "$WIDTH * $HEIGHT" | bc);
	local C=$(echo "$B / 256" | bc);
	local D=$(echo "$FPS * $C" | bc);
	local E=$(echo "$A / $D" | bc);

	NEWBPB=$E;

}

Calculate Nearest 16

function calculateNearestSixteen() {

	local VALUE="$1"

	local A=$(echo "scale=2;$VALUE / 16" | bc);
	local B=$(echo "$A" | sed 's/.*\.//g');
	local C=0.$B;

	if [[ $B -gt 50 ]]; then
		local M=1;
	else
		local M=0;
	fi

	local D=$(echo "$M - $C" | bc);
	local E=$(echo "$D * 16" | bc);
	local F=$(echo "$VALUE + $E" | bc | sed 's/\..*//g');

	NEWVALUE=$F;

}

Getting Length of a Video in Seconds

# getting the original duration
OV_DURATION=$(tcprobe -i "$INPUTFILE" -X | grep "duration" | awk 'NR == 1 { print $2; }');
# getting the hours
OV_HR=$(echo "$OV_DURATION" | cut -d ":" -f1 | sed 's/\..*//g');
OV_HRS=$(echo "$OV_HR*60*60" | bc);
# getting the minutes
OV_MI=$(echo "$OV_DURATION" | cut -d ":" -f2 | sed 's/\..*//g');
OV_MIS=$(echo "$OV_MI*60" | bc);
# getting the seconds
OV_SE=$(echo "$OV_DURATION" | cut -d ":" -f3 | sed 's/\..*//g');
# getting the length
OV_LENGTH=$(echo "$OV_HRS+$OV_MIS+$OV_SE" | bc);

Getting the FPS of a Video

# getting the framerate
OV_FPS=$(tcprobe -i "$INPUTFILE" -X | grep "frame rate" | awk 'NR == 1 { print $3; }');

Getting the Bitrate of a Video

# getting the bitrate
OV_BITRATE=$(tcprobe -i "$INPUTFILE" -X -M | grep "bitrate" | awk 'NR == 1 { print $2; }');

Getting Audio Data

# getting bitrate
OA_BITRATE=$(tcprobe -i "$INPUTFILE" -X -M | grep "bitrate" | awk 'NR == 2 { print $2; }');
# getting sample rate
OA_SAMPLERATE=$(tcprobe -i "$INPUTFILE" -X -M | grep "sample rate" | awk 'NR == 1 { print $3; }');
# getting bits per sample
OA_SAMPLEBITS=$(tcprobe -i "$INPUTFILE" -X -M | grep "bits for sample" | awk 'NR == 1 { print $3; }');

1. “dd if=/dev/zero of=/mnt/filename bs=100M count=100″ on Node1 on the Clusterfilesystem
2. The same on the other node (Node2), the times should be equal.
3. Two times (2x) the same on Node1, the time will break in
4. Now on both nodes at the same time – The time should be higher, the higher the worse.

So, i did this checks on the System i’ve setup with DRBD and OCFS2, here are the results:

Check 1

ER-40021:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=10
1048576000 bytes (1.0 GB) copied, 88.1202 s, 11.9 MB/s
real    1m29.530s
user    0m0.000s
sys     0m3.496s

Check 2

ER-20026:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=10
1048576000 bytes (1.0 GB) copied, 84.3576 s, 12.4 MB/s
real    1m24.622s
user    0m0.000s
sys     0m5.408s

Check 3

ER-40021:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=10 &
[1] 5252
ER-40021:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=10
1048576000 bytes (1.0 GB) copied, 84.1481 s, 12.5 MB/s
real    1m24.314s
user    0m0.000s
sys     0m2.964s
1048576000 bytes (1.0 GB) copied, 137.668 s, 7.6 MB/s
[1]+  Done                    time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=10
real    2m19.164s
user    0m0.000s
sys     0m5.364s

Check 4

Node 1:
    ER-40021:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=10
    1048576000 bytes (1.0 GB) copied, 156.417 s, 6.7 MB/s
    real    2m36.583s
    user    0m0.004s
    sys     0m2.512s
Node 2:
    ER-20026:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=10
    1048576000 bytes (1.0 GB) copied, 173.982 s, 6.0 MB/s
    real    3m24.200s
    user    0m0.000s
    sys     0m3.372s

My friend was interested into the %CPU and %WAIT Data of the nodes during test 3 and 4, so i will redo the tests now. As you can see above, i used 1 GB instead of 10 GB. My next test will use 2 GB:

The Box(es)

• 2 GB Ram
• Intel(R) Core(TM)2 Duo CPU E7200 @ 2.53GHz
• 160 GB Sata (Seagate Barracuda 7200.10 family, ST3160215AS)
• Debian Lenny

top - 22:54:22 up 1 day,  7:04,  1 user,  load average: 0.08, 0.15, 0.11
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Check 1

dd:
    ER-40021:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=20
    2097152000 bytes (2.1 GB) copied, 187.962 s, 11.2 MB/s
    real    3m8.043s
    user    0m0.000s
    sys     0m9.937s
Top after 30 seconds:
    top - 22:56:31 up 1 day,  7:07,  1 user,  load average: 1.86, 0.63, 0.27
    Cpu0  :  0.0%us,  1.6%sy,  0.0%ni, 66.3%id, 32.1%wa,  0.0%hi,  0.0%si,  0.0%st
    Cpu1  :  0.0%us,  8.9%sy,  0.0%ni, 18.4%id, 66.6%wa,  1.3%hi,  4.7%si,  0.0%st

Check 2

dd:
    2097152000 bytes (2.1 GB) copied, 178.706 s, 11.7 MB/s
    real    2m59.232s
    user    0m0.000s
    sys     0m5.836s
Top after 30 seconds:
    ER-40021:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=20
    top - 22:38:37 up 1 day,  7:10,  1 user,  load average: 1.97, 0.53, 0.31
    Cpu0  :  0.0%us,  4.0%sy,  0.0%ni, 30.2%id, 61.1%wa,  1.7%hi,  3.0%si,  0.0%st
    Cpu1  :  0.0%us,  9.3%sy,  0.0%ni,  9.6%id, 78.0%wa,  0.7%hi,  2.4%si,  0.0%st

Check 3

dd:
    ER-20026:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=20 &
    ER-20026:/var/lib/mysql# time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=20 &
    2097152000 bytes (2.1 GB) copied, 205.511 s, 10.2 MB/s
    real    3m25.861s
    user    0m0.000s
    sys     0m6.152s
    2097152000 bytes (2.1 GB) copied, 205.622 s, 10.2 MB/s
    real    3m25.692s
    user    0m0.000s
    sys     0m3.500s
    [1]-  Done                    time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=20
    [2]+  Done                    time dd if=/dev/zero of=/var/lib/mysql/test bs=100M count=20
Top after 30 seconds:
    top - 22:44:15 up 1 day,  7:16,  1 user,  load average: 2.29, 1.41, 0.80
    Cpu0  :  0.0%us,  2.7%sy,  0.0%ni,  3.7%id, 89.0%wa,  0.7%hi,  4.0%si,  0.0%st
    Cpu1  :  0.0%us,  2.1%sy,  0.0%ni, 92.8%id,  0.4%wa,  0.8%hi,  3.8%si,  0.0%st

Check 4

Node1:
    dd:
        2097152000 bytes (2.1 GB) copied, 410.541 s, 5.1 MB/s
        real    6m50.703s
        user    0m0.008s
        sys     0m3.448s
    Top after 30 seconds:
        top - 23:15:07 up 1 day,  7:25,  1 user,  load average: 1.19, 0.40, 0.37
        Cpu0  :  0.0%us,  0.3%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
        Cpu1  :  0.0%us, 12.9%sy,  0.0%ni, 79.6%id,  4.2%wa,  0.8%hi,  2.5%si,  0.0%st
Node2:
    dd:
        2097152000 bytes (2.1 GB) copied, 400.627 s, 5.2 MB/s
        real    6m40.983s
        user    0m0.000s
        sys     0m7.560s
    Top after 30 seconds:
        top - 22:53:29 up 1 day,  7:25,  1 user,  load average: 2.03, 1.42, 1.19
        Cpu0  :  0.0%us,  2.0%sy,  0.0%ni, 88.7%id,  6.0%wa,  0.3%hi,  3.0%si,  0.0%st
        Cpu1  :  0.0%us,  4.4%sy,  0.0%ni, 67.4%id, 25.8%wa,  0.3%hi,  2.0%si,  0.0%st

As you can see, the Wait is quite high, this might be due to too slow discs or most likely the network. Both boxes are connected with each other over a 100mbit/s NIC so the datatransfer between those boxes is limited to technically 12MB/s (practically 10MB/s). However, i’ve shown this data to my friend and his comments were:

What we can see here is a mixture of two concurrency problems. Firsthand, it’s hard disk internal concurrency, the write head has to jump back and forth to write the different positions, of course. It’s the usual IOPS problem of magnetic disks.

The other problem here is concurrency between the nodes, two in this case. Changing blocks within the same file in the same directory and changing blocks that may still be in the file system cache of the opposite node – all that is stuff the cluster file system has to manage. It has to provide integrity, but should avoid locks whenever possible.

Now about the numbers of the 2GB test series. Tests 1 and 2 are desired to find the absolute range of IO power we are talking about. Test 3 tells us, how much the disk-internal concurrency affects our result, and Test 4 is what we are looking for.

You can see, Test 1+2 are 11MB/s each, if started concurrently on one node, it’s still 10MB/s but with about 90% of IO wait of the CPU. The high wait rate of Test 3 means, that the media is about to go in a saturation state now, luckily Jean caught something near the break even point with his test.

In preparation for Test 4, this tells us: All degradation in speed we can see from now on, is made by the cluster FS, not by the disk. Despite we have much less IO speed in Test 4 (5 MB/s vs. 10MB/s in reference), there is much less WAIT% now. WAIT% is “waiting for IO” – unlocking mechanisms my OCFS2 via network are causing slight SYS% increase instead. One last point of interest is to look for the limitation now – the values don’t provide it.

My guess is Networking: Bandwidth, or more likely: Latency.

Thanks to Martin (usn) for his time

ich hab von glako (danke!) nen’ acer aspire one bekommen, da habe ich mir jetzt erstmal Lunar Linux installiert, läuft ganz fein. Wobei ich anfangs schon etwas Probleme hatte bei der Installation. Aber das liegt eher daran das ich kein externes CD Rom bzw DVD Rom habe und somit leichte Probleme hatte irgendwas auf dem Teil zu installieren mangels Media. Wie auch immer. Rechts solltet ihr nen Screenshot sehen können.

Die Auflösung ist 1024×600px. Es läuft alles einwandfrei, bis auf die Grafikkarte. Manchmal wackelt das Bild, als ob es kurz nach rechts und links geht, als ob der Display sowas wie Autoadjustment macht. Wobei das wirklich nicht so häufig passiert, das passiert nur unter Last. Möglicherweise irgendwas, was ich falsch eingestellt habe, in der xorg.conf oder so.

Bin ich mir gerade nicht sicher. Mal sehen ich will demnächst mal sehen das ich Bluetooth einbaue, eine 1.8″ oder 2.5″ Festplatte, sowie die grünen Leds durch blaue austausche. Erstes sollte beides möglich sein, dafür habe ich schon Howtos gefunden. Bin etwas verwirrt was die SSD angeht – Dazu existiert ein Haufen an Informationen, Fakt ist einfach: Niemand kann sagen wann die SSD den Geist aufgibt, weil ich nicht einsehen kann (auch nicht mit smartctl) wieviele cycles die SSD schon hatte. Anders als Festplatten ist eine SSD limitiert – Hat eine SSD also maximal 100 000 write cycles – Hält Sie exakt 100 000 mal – beim 101 000 mal ist sie tot. Ganz einfach. Allerdings habe ich auch schon Hochrechnungen gesehen nach denen eine SSD 7-519 Jahre halten soll.. Also.. Nunja.

Whatever

First of all i enabled quota support in the Kernel. Then i added “usrquota,grpquota” to the options in /etc/fstab. After that i created the files quota.user and quota.group on / (which is the device i’m trying to work with quota on) and rebooted (-o remount was not working). Now back online i issued “quotacheck -avug” to the box and got:

quotacheck: Your kernel probably supports journaled quota but you are not using it. Consider switching to journaled quota to avoid running quotacheck after an unclean shutdown.
quotacheck: WARNING - Quotafile //quota.user was probably truncated. Cannot save quota settings...
quotacheck: WARNING - Quotafile //quota.group was probably truncated. Cannot save quota settings...
quotacheck: Cannot remount filesystem mounted on / read-only so counted values might not be right.
Please stop all programs writing to filesystem or use -m flag to force checking.

Let’s start using google. The first thing is easily solvable.. instead of “usrquota” and “grpquota” use: usrjquota.. and grpjquota i guess. However, issueing “mount /dev/sda2 / -t ext3 -o remount,rw,usrjquota=aquota.user,jqfmt=vfsv0″ brings nothing. dmesg is showing:

EXT3-fs: old and new quota format mixing.

This isn’t as easy as i thought to be honest…Then finally i found a howto, explaining it quite right. You have to do it this way:

1. Add “usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0″ to the partition you wanna use. For example:

wdp@yulivee ~ $ cat /etc/fstab | grep quota
/dev/sda2       /       ext3    defaults,usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0 0 1
wdp@yulivee ~ $

2. create some files, change permissions and remount the disc

touch /aquota.user /aquota.group
chmod 600 /aquota.*
mount -o remount /

3. Last Step, run the commands quotacheck -avugm and quotaon -avug

root@yulivee /home/wdp # quotacheck -avugm
quotacheck: WARNING -  Quotafile //aquota.user was probably truncated. Cannot save quota settings...
quotacheck: WARNING -  Quotafile //aquota.group was probably truncated. Cannot save quota settings...
quotacheck: Scanning /dev/sda2 [/] done
quotacheck: Checked 99960 directories and 1613505 files
root@yulivee /home/wdp # quotaon -avug
/dev/sda2 [/]: group quotas turned on
/dev/sda2 [/]: user quotas turned on
root@yulivee /home/wdp #

Nice nice nice Now i need to do the PHP Part, for that i’m adding now a testuser with quotas and checking the outputs of df and the quota tools. But first we’re coming to another problem. Adding quotas for the user quotatest:

root@yulivee /home/wdp # edquota quotatest
Disk quotas for user quotatest (uid 1003):
  Filesystem                   blocks       soft       hard     inodes     soft     hard
  /dev/sda2                        20          0          0          6        0        0

I want to set 200 MB Quota and have to deal with blocks and inodes – Funny, or? However – Inodes is the Amount of files. Blocks depends on the system. Means first of all we need to check the size of a block on / – This can be done this way:

root@yulivee /home/wdp # tune2fs -l /dev/sda2 | grep "Block size"
Block size:               4096
root@yulivee /home/wdp #

Normally, we would calculate the quota limit in bytes / blocksize, the blocksize on my box is 4096 but this was not working. I had to use /1024 instead of /4096 to have a limit of 200 MB. So it seems you can ignore the blocksize of the filesystem completly.

Now we need to calculate a bit:

# ( Quota Limit in MB * 1024 * 1024 ) / 1024 = Blocks
( 200 * 1024 * 1024 ) / 1024 = 204800
# or:
200 MB * 1024 * 1024 = 209715200 (Bytes)
209715200 (Bytes) / 1024 = 204800 (Blocks)
# or:
200 MB * 1024 = 204800 Blocks

Now we know, that 204800 Blocks on my disc (filesystem) are 200 MB. For 195 MB it’s 199680. Now in edquota define it this way:

root@yulivee /home/wdp # edquota quotatest
Disk quotas for user quotatest (uid 1003):
  Filesystem                   blocks       soft       hard     inodes     soft     hard
  /dev/sda2                        20            199680   204800          6        0        0

okay, su – quotatest, type in quota, you’ll something similar to:

quotatest@yulivee ~ $ quota
Disk quotas for user quotatest (uid 1003):
     Filesystem  blocks   quota   limit   grace   files   quota   limit   grace
      /dev/sda2  20 199680  204800            6       0       0

Seems to work, let’s now create a big file using dd, just to test whether quota is working or not:

quotatest@yulivee ~ $ dd if=/dev/urandom of=test.datei bs=1048576 seek=1024
sda2: warning, user block quota exceeded.
sda2: write failed, user block limit reached.
dd: writing `test.datei': Disk quota exceeded
150+0 records in
149+0 records out
157126656 bytes (157 MB) copied, 30.6894 s, 5.1 MB/s
quotatest@yulivee ~ $ du -h
200M    .

As you can see it’s working. Let’s come to the PHP Part. First of all we need to check whether there are quotas for the user or not. If there are quotas we have to check them, if not we have to check on which disc/partition the user is and how much of it free is.

if the system has no quotas the command quota will return nothing. If the system has quotas but no quotas are set for the user the command quota returns “Disk quotas for user wdp (uid 1000): none” for example if your username is wdp. If the system got quotas and quotas are set it will return something like what i wrote prior (just scroll up).

<?php

        // This is just an example, there might be nicer solutions
        // it will "echo" the free "blocks" which is the same then
        // KB in my example here.
        $quota = `quota -w`;
        if(empty($quota))
        {
                $quotas = false;
        } else
        {
                if(substr_count($quota, " ") == 7)
                        $quotas = false;
                else
                        $quotas = true;
        }

        if($quotas == true)
        {

                $toreplace = array("\r", "\n", "\t");
                $line = str_replace($toreplace, ' ', $quota);
                $line = preg_replace('/\s+/s', " ", $line);
                $array = explode(" ", $line);
                $quotaCurrent = $array[17];
                $quotaSoft = $array[18];
                $quotaHard = $array[19];
                if(($quotaSoft > 0) && ($quotaSoft > $quotaCurrent))
                        $free = $quotaSoft - $quotaCurrent;
                else
                        $free = $quotaHard - $quotaCurrent;
                echo $free;

        } else
        {

                // We reached this part because it
                // seems there are no usable quotas
                // this is a fallback!

        }

?>

Features

• Caching of Objects (Not only pages)
• Setting of a timelimit for caching
• Sha1Sum Checks (Prevents broken/modified cached objects)
• Cached objects are stored as bz2

Todo

• I never finished the database part, so currently this class is filebased only.

Tests
A friend asked me whether i got some tests to see how’s the improvement with this cache Class. No, but i created some. The thing is, Of Course it depends on the Object, how fast the caching class will be but i guess its an improvement for every usage. However i implemented the cache on the following page: Player Ranking: Urban Terror.

• 12s (1st run, without cache)
• 13s (2nd run, without cache)
• 12s (3rd run, without cache)
• 14s (1st run, with cache)
• 1s (2nd run, with cache)
• 1s (3rd run, with cache)

Now calculate yourself. By the way, the stored object has 12 KB. The Script is by the way creating a objects.list file, here’s the content:

objectname:bytes:sha1sum

index--:1247493845:6a42607e3d9de886d8db79db0a38ece59e6292aa
rankingall--:1247493869:c942dec6c330954563602e9a3866ad6ee2a8118e
rankingcountry--:1247493907:ef02716a075fbd37f566aa07c984eedfa6f3c9ca
rankingcountry-de-:1247493919:f467d3a78a9b63084e1c8ba8160e6c4bdc7c09dd
player--Eule:1247493932:6a2a56e245487a8b97b98903d785a5dbd8109da9
rankingclan--:1247493940:6c03d4543fe0b6e9a28a1b2bc1ef59d72109bce1
statistics--:1247493941:1c232daa34428b1a5a6d4ee31b0bb7c451dd39eb

Usage
You have to create a folder called “tmp” and within that folder a folder called “cache”.

<?php

    // Initialize the Class
    $cache = new Cache(
        'file',	// file|database (object data storage, not content)
        '180',	// minutes (180 = 3 hours, default cache time)
        'tmp/cache'	// cache directory
    );

    // Check whether there's a cached object, the object is not
    // corrupted and not out-of-date.
    if($cache->getCachedObjectData('index')){

        // found an valid cached object
        echo $cache->displayCachedObject('index'); // display the object

    } else {

        // no cache data, no cached object, or cached object corrupt,
        // out-of-date or invalid.
        /** AT THIS POINT YOU SHOULD DO THE EXPENSIVE STUFF
           * and write it into $content FOR EXAMPLE BY USING
           * ob_start(), ob_get_contents() and ob_end_clean()
           * THIS MEANS BUILD THIS CACHE CLASS AROUND
           * YOUR PAGE **/
        echo $cache->createCachedObject(
            'index', // object name
            $content, // object content
            '180' // optional - time in minutes
        );

        // or:
        // $cache->createCachedObject(
        //     'index', // object name
        //     $content, // object content
        //     '180' // optional - time in minutes
        // );
        // echo $cache->displayCachedObject('index');	// display the object

    }

?>

Get it
The Class is GPLv3 (whatelse). You can obtain v1.0 here as .tar.bz2 or as .zip. Have fun with it

The Script is simple, you’re just including it and feed it with a website uri:

array getKeywords ( string $uri , integer $min )
$uri is the URL
$min is a Integer which sets the amount of “repeats” of a keyword to be displayed. 2 is usually a good choice – 1 will display all.

Return an array containing all found keywords with a integer value “how often” the keyword was found

<?php

    include('getKeywords.php');
    var_dump(getKeywords($uri, 2));

?>

Another example usage

<?php

    include('getKeywords.php');

    $array = getKeywords($uri, 2);

    foreach($array as $keyword => $amount)
        echo $amount." - ".$keyword."";

?>

Of Course in both examples you have to set $uri to the page which should be checked. Sorry for the waiting time Chris. Finally… Here you go

Download
The Script is available for download and is licensed under the GPLv3. You can download it from here (tar.bz2). or from here as .zip.

And now?
Well. You could use those Keywords and look in Google Trends or Keyword Suggestion Tools to optimize them a bit. You could also make sure that you don’t repeat words too much. Important words should be repeated (which does not mean writing 100 times “hello” will rank you the 1st with the search word 100). I just say: If the word “house” is repeated 3 times, it’s more important than a word which is only repeated 1 time.