Como se menciona, todo depende de lo que se quiera lograr.
¿Máxima calidad y archivos más pequeños? Codificación por CPU con el preajuste más lento que puedas aguantar (excepto placebo, que entrega pocos beneficios a costa de un rendimiento muy muy muy lento).
¿Buena calidad sin importar el tamaño del archivo, priorizando la velocidad de codificación? Codificación por GPU. NVENC de NVIDIA es el mejor evaluado. QuickSync en GPU integradas y discretas de Intel (recientes) también tiene buenas valoraciones, sobre todo para el códec AV1. AMD se queda más atrás, pero, si es lo que tienes, tampoco está mal para este objetivo.
¿Es para capturar la pantalla en tiempo real, con la menor interrupción posible de un videojuego? Codificación por GPU sí o sí. Las GPU tienen módulos dedicados a la codificación de video, por lo que el impacto es menor en el rendimiento del juego versus la codificación por CPU.
Opciones hay muchas, pero todo depende del objetivo que se quiera lograr y de los recursos disponibles.
Por supuesto, una codificación x264 o HEVC por CPU en veryslow puede tardar un día entero (o más), pero el archivo resultante puede pesar muchísimo menos versus lo mismo pero codificado por GPU (que tardará mucho menos).