Ja, das siehst du falsch. So macht man es im PA Sektor.
Die Endstufen, insbesondere kleinere oder Mehrkanal, können schnell ins Clipping geraten. Das bedeutet, dass das Signal verzerrt wird und kein sauberes Signal mehr an den Lautsprecher kommt, der ja auf ein Wechselstromsignal (am Besten eine Sinusschwingung) angewiesen ist. Bei viel zu hoher Leistung würde die Schwingspule einfach in Rauch aufgehen, wie auch bei verzerrten Signalen, die dann unsauber sind.
Ja, schau mal auf die Werte deines Woofers, dann wissen wir mehr
Deshalb wird der Verstärker grob gesagt größer ausgelegt, damit in allen Lautstärken immer ein sauberes Signal an den Lautsprecher kommt.
Das heißt jetzt nicht, dass man einen 1000 Watt Verstärker an einem 20cm Woofer braucht.