40Gbit zwischen Windows und Synology

Hallo zusammen,

ich möchte gerne mein Synology NAS, sowie meinen Plex-Media Server via 40Gbit QSFP+ ins Netzwerk einbinden.
Leider bekomme ich nicht mehr als 10Gbit angezeigt und auch nicht übertragen.

Jetzt wird sich sicher schon der ein oder andere denken, na deine Hardware wird es einfach nicht stemmen.
Sollte es wirklich Hardwareseitig ein Bottleneck geben bin ich einsichtig. Jedoch bin ich ziemlich sicher dass es nicht an der Leistung der Hardware liegt.

Zur Hardware:
Synology NAS ist ein DS3615xs samt Erweiterung. Xeon QC E3-1275L v3, 32GB, 24x WD Red 6TB im RAID 6.
Plex-Media Server: Intel 7900X, 10 Core, 64GB QuadChannel, ARC-1883ix16 mit 8x IronWolf 14TB im RAID 5, Intel Optane 900p, Windows 10 Pro N Workstation

(zur Auslastung: auf beiden Geräten ist während eines Kopiervorganges die CPU und RAM gelangweilt)

Switches: 2x MikroTik CRS354-48G-4S+2Q+RM, sowie 1x MikroTik CRS312-4C+8XG-RM
Netzwerkkarten neu: Mellanox ConnectX-3 Pro Dual Port

Bis lang lief alles über 10Gbit und die Kopierleistung lag sowohl von also auch zum Synology NAS immer auf Anschlag und konstant bei 1,15Gbit/s.
Jumbo Frames sind aktiviert und auf 9000 gestellt, Windows 10 Pro Workstation hat SMB Direct mit onboard. Verbunden wurde das ganze mit Original Mikrotik QSFP+ DAC.
Leider wird mir die Netzwerkverbindung nur mit 10Gbit im Windows angezeigt. Die letzten Mellanoxtreiber sind installiert. Im Mellanox Performance Tuning Tool ist alles auf Single Port Traffic gestellt. Ethernet ist eingestellt. IPs sind vergeben. Mit der Metrik habe ich mich auch schon gespielt.
Die Direktverbindung geht einwandfrei jedoch (nur) mit 10Gbit.
Die Probekopiervorgänge laufen auf der RAM Disk ab, welche DDR4-4000 im QuadChannel laufen. Also sollten auch mit 40Gbit kein Problem haben.

Hat sich jemand mit soetwas schon gespielt und eine Lösung gefunden hier die 40Gbit zum laufen zu bekommen.
Habe auf google und youtube schon lange gesucht. Meistens war das Ergebnis, dass Windows 10 (Consumer) es nicht kann auf Grund des fehlenden SMB Directs. Dies kann die Workstation Version jedoch. Da mir auch die Verbindung nur mit 10Gbit angezeigt wird denke ich mein Fehler fängt schon früher an. Muss ich bei den Netzwerkkarten etwas anderes einstellen?
Bin für Vorschläge sehr dankbar.

Freue mich auf eure Tipps.
lg
mrhide

die CRS354-48G-4S+2Q+RM haben je 2 40Gbit Anschlüsse, daher war die Idee mit einem Port die beiden Switches untereinander zu verbinden und die beiden anderen einmal an das NAS und einmal an das Plex Teil.

Wie Prophet schon gesagt hat, erst den Link-Status zwischen den Switches kontrollieren,
wenn dort die 40G anliegen, dann weiter die Mellanox-Karten troubleshooten.

Zitat aus einem Post von Hampti

Sorry für offtopic....darf ich mal fragen was du noch machst ausser plex mit dieser Hardware....wtf...nice

ich versuche einfach im Rahmen meiner Mittel neue Dinge auszuprobieren bzw nicht alltägliche Dinge zum Laufen zu bringen. In dem Fall brauche ich die 40Gbit nicht, aber wenn die Hardware das vielleicht könnte und theoretisch 40Gbit bietet versuche ich diese irgendwie zum Laufen zu bekommen. Nutzen tut mir das in Wahrheit nichts. So nach dem Motto: Braucht mans? Nein! Ist es cool wenns funktioniert? Ja!
Ist einfach ein Hobby...

Schon mal Deine Kiste mit einem GNU/Linux gebootet und geschaut, ob da laut ethtool 40GBit/s ausgehandelt werden (koennen)? Dann koenntest Du ein Treiberproblem mal weitgehend ausschlieszen.

Ich koennte mir auch vorstellen, dass ein nicht-Server-Windows einfach keine Ethernet-Bandbreite > 10GBit/s unterstuetzen will.

Die Mellanox Connect-X3 bekommt man relativ günstig auf ebay oder aliexpress (aus alten servern)

und welche Mellanox ConnectX-3 Pro Dual Port genau? Die gibt es nämlich auch in 10G only.

so...habe mich gestern nochmal dran gemacht und alles ab und neu angesteckt sowie die Switches auf die letzte Firmware hochgezogen. Auch die Mellanox Karten (MCX314A-BCCT weil die Frage kam) nochmal von den Treibern befreit und neu Installiert.
Siehe da wir haben eine 40Gbit Verbindung.
Von Plex-Server > Switch1 > Switch2 > NAS


Die SMB Einstellungen sowie das Networkthrottling habe ich wie folgt eingestellt:


Vom Windows Gerät kann ich mit schöner Geschwindigkeit aufs NAS kopieren:

Mehr können die drehenden Platten dann wohl nicht. Ist aber auch vom Mikrotik aus beobachtet minimal mehr als die 10Gbit. Geht während des Vorganges dann doch manchmal auf 14Gbit-12Gbit rauf. Wie gesagt wichtig ist mir eigentlich nur dass es geht. Dass ich mit den WDs keinen Benchmarkrekord aufstelle war mir von vornherein klar.

Vom NAS weg Richtung Windows hats noch etwas...


Vom NAS lesen ging mit den X550 10Gbit Netzwerkkarten deutlich flotter.
SSDs zum Testen am NAS habe ich leider nicht bzw keinen Platz im NAS.

Was auch noch etwas seltsam ist, ich kann vom Mikrotik Switch Richtung Windows Gerät nur pingen wenn ich die Windows Firewall abschalte. Dann klappt die Verbindung einwandfrei. Schalte ich die Firewall ein sehe ich sofort wie der Dauerping abbricht.
Hat hierzu jemand eine Idee?