[Bug] Model generates meaningless gibberish/hallucinations at the end of audio (EOS/Stopping Criterion Failure in Vietnamese)

[fnooub]

Description

When generating Vietnamese speech using openbmb/VoxCPM2 (running with nano-vllm engine), the model occasionally fails to terminate audio generation after fully speaking the input text. Instead, it continues to generate random, meaningless syllables (hallucinations/gibberish) for several seconds before stopping.

This appears to be an End-of-Sequence (EOS) token prediction failure or a stopping criterion threshold issue during the autoregressive decoding phase.

Environment & Model Info

• Model: openbmb/VoxCPM2
• Engine: nano-vllm (CTranslate2 optimized runner)
• Language: Vietnamese (vi)

Steps to Reproduce

1. Input Text (Vietnamese Script)

Khi chúng ta uống trà xanh hay nước nụ vối, các hoạt chất này sẽ tác động làm ngắt bớt tín hiệu hoạt động của trạm kiểm soát đó, từ đó làm giảm tốc độ hình thành các đốm sậm màu trên da từ tận gốc rễ.

2. Actual Audio Output Details

• Expected Duration: ~11.0 seconds
• Actual Output Duration: 14.59 seconds
• Whisper QA Transcription of the output audio:

"Khi chúng ta uống trà xanh hay nước nụ vối, các hoạt chất này sẽ tác động làm ngắt bớt tín hiệu hoạt động của trạm kiểm soát đó, từ đó làm giảm tốc độ hình thành các đốm sậm màu trên da từ tận gốc rễ. Mạch tánh hạm mừa trên bệnh triệu đáng lạng ngang dùng cộm mén lạng mà tiến."

(Notice the highlighted gibberish generated at the end: "Mạch tánh hạm mừa trên bệnh triệu đáng lạng ngang dùng cộm mén lạng mà tiến." which is completely meaningless and not in the original script.)

Expected Behavior

The model should emit the EOS token and terminate the decoding loop immediately after speaking the last word of the script ("gốc rễ") around the 11.0s mark.

Actual Behavior

The model correctly speaks the entire sentence but continues generating phonetic noise/gibberish for an extra 3.5 seconds before ending the file.