Raspi Netzwerk Timeouts(?)

Hab schon seit längerem bissl Netzwerkprobleme mit meinem Raspi (eigentlich mit beiden) die zwar nicht wirklich gravierend, aber etwas mühsam sind.

1.) das connection via ssh dauert relativ lang, in etwa 10-15 Sekunden bis ich mal zur PW eingabe komme (egal - nicht so wichtig - hängt vmtl. mit 2. zusammen)
2.) in der Shell hab ich immer wieder hänger von mehreren Sekunden. Es schaut für mich so aus als würde der Netzwerk Controller irgendwie in einen Sleep Modus gehen. Mach ich einen ping -t auf den raspi vom Windows Host aus hab ich keinerlei Hänger. Bei den Hängern hab ich dann auch Paketloss von ein paar Paketen bis sich der Raspi wieder gefangen hat.
Hab bis jetzt leider nicht wirklich was gefunden beim googlen. Eigentlich alle Probleme in die Richtung haben haben mit WLAN Sticks zu tun ... ich häng direkt via Kabel im Netz.
3.) beim Streamen vom Samba Share am Raspi hab ich immer wieder Aussetzer und auch komplett Abbrüche. Ich tippe darauf, dass das eine direkte Ursache mit von 2.) ist.

Raspi 1 hat XMBC laufen und Raspi 2 das minibian mit dem neusten jessie. Bei beiden raspis zeigen das exakt gleiche Verhalten.

In den üblichen Logs bzw. dmesg etc. seh ich auf die schnelle keine Error oder Sleep/Timeouts oder ähnliches

Alles hängt am A1 Router der eigentlich soweit ohne Probleme funktioniert, will aber nicht ausschließen, dass der vllt. doch einen defekt hat. Werd sobald als möglich schauen das ich einen 2. Router verwend um das als Fehlerquelle auszuschließen. Kabel etc. sollten auch alle in Ordnung sein, sind neu.

Irgendjemand eine Idee wie ich das lösen könnte? Der Workaround einfach einen dauer Ping zu machen würde wohl Abhilfe schaffen aber ich würde gerne das Problem verstehen und auf "schöne" Art und Weise beheben.