Vorrei capire se tu vuoi registrare sequenze midi o un file audio.
Se posso azzardare, posso dire che per scrivere una sequenza midi, la registrazione deve essere fatta all'interno della traccia midi, cioè con l'editor midi aperto, e cliccare il rec dell'editor midi. Ricordati di assegnare un canale midi che parte da 1 fino a 16, poi al canale scelto gli assegni l'uscita, che può essere uno strumento VST, GM, o tastiera esterna. (NB:Il canale 10 è solo per le percussioni)
Se invece vuoi registrare lo strumento VST direttamente in audio devi selezionare (o tramite il programma o direttamente dalla tua scheda audio) la modalità  Stereo Mix che trovi in controllo registrazione. Stereo Mix cattura tutte le periferiche audio, e quindi anche i suoni generati dallo stesso PC, nel tuo caso il suono VST.
Su questo argomento ho fatto alcuni video tutorial, le dimostrazioni sono fatte con Music Maker, ma comunque vanno bene per qualsiasi programma musicale clik qui per visualizzare