So habe eine Antwort gefunden. Wenn ein User kein Passwort hat kann man sich auch nicht per SSH über ihn Anmelden - das geht dann nur mit su/sudo. Deswegen muss ich einfach den passenden usern kein Passwort geben. Mit passwd normal geht das aber nicht - wenn man da bei der Passowortänderung nichts angibt kommt ein Fehler. Deswegen benutzt man dazu "passwd -d BENUTZER"! Einfach "BENUTZER" durch den passenden Benutzernamen dessen Passwort man leeren will ersetzen und enter drücken.
Ich glaube jetzt ist mein server schon sehr sicher in sachen SSH