Estas seguro que los cables están bien conectados?
Esto es un problema típico de cuando los cables no están bien conectados a rotos, por favor verifica esto, de no se este el problema escribe por favor de nuevo.
Realmente no lo creo, el reproductor de VHS envía un señal analógica que en principio no se codifica. Tienes actualizado el programa?Te recomiendo que lo revises, así como durante de la captura dejes al ordenador solo con este trabajo y no hagas otras cosas. Es recomendable también ejecutar el programa como administrador, con el botón derecho del ratón sobre "ejecutar como administrador".