Suponiendo que el problema de verdad esté en el enlace de Internet (podría estar en el WiFi también), creo que AQM/SQM te puede servir para eso.
Según entiendo no va a dar prioridad a una persona, pero si asegurarse de reducir la latencia para que se sienta "rápido".
Si tienes algún router con...