Stuck on an issue?
Lightrun Answers was designed to reduce the constant googling that comes with debugging 3rd party libraries. It collects links to all the places you might be looking at while hunting down a tough bug.
And, if you’re still stuck at the end, we’re happy to hop on a call to see how we can help out.
Insertion problem when decoding with pre-trained ASR model.
See original GitHub issueThanks for the clear example In foldertemplates/speech_recognition/ASR/ to train an ASR model on mini-librispeech dataset. However, when I used the librispeech-pretrained model (ASR model, language model and tokenizer) to decode some waveforms in librispeech test dataset, the decoding result will repeat some of the words many times and cause severe insertion errors. Below is several examples:
1221-135766-0014, %WER 2436.36 [ 268 / 11, 268 ins, 0 del, 0 sub ]
PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps>
= ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I
PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED ; INTENTLY ; BUT ; NEVER ; SOUGHT ; TO ; MAKE ; ACQUAINTANCE ; PEARL ; SAW ; AND ; GAZED
121-123859-0001, %WER 869.81 [ 461 / 53, 454 ins, 0 del, 7 sub ]
O ; TIS ; THE ; FIRST ; TIS ; FLATTERY ; IN ; MY ; SEEING ; AND ; MY ; GREAT ; MIND ; MOST ; KINGLY ; DRINKS ; IT ; UP ; MINE ; EYE ; WELL ; KNOWS ; WHAT ; WITH ; HIS ; GUST ; IS ; GREEING ; AND ; TO ; HIS ; PALATE ; DOTH ; PREPARE ; THE ; CUP ; IF ; IT ; BE ; POISON'D ; TIS ; THE ; LESSER ; SIN ; THAT ; MINE ; EYE ; LOVES ; IT ; AND ; DOTH ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; FIRST ; BEGIN ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps>
S ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; S ; S ; = ; = ; = ; I ; I ; I ; I ; I ; I ; I ; I ; I ; = ; = ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I
OH ; TIS ; THE ; THIRST ; TIS ; FLATTERY ; IN ; MY ; SEEING ; AND ; MY ; GREAT ; MIND ; MOST ; KEENLY ; DRINKS ; IT ; UP ; MINE ; EYE ; WELL ; KNOWS ; WHAT ; WITH ; HIS ; GUST ; IS ; GREEN ; AND ; TO ; HIS ; PALATE ; DOTH ; PREPARE ; THE ; CUP ; IF ; IT ; BE ; POISONED ; TIS ; THE ; LESSER ; SIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; THIRST ; BEGINS ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGINS ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGINS ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE ; IT ; AND ; DOTH ; FIRST ; BEGIN ; THAT ; MINE ; I ; LOVE
1284-134647-0001, %WER 707.41 [ 191 / 27, 191 ins, 0 del, 0 sub ]
THE ; EDICT ; OF ; MILAN ; THE ; GREAT ; CHARTER ; OF ; TOLERATION ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps> ; <eps>
= ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I
THE ; EDICT ; OF ; MILAN ; THE ; GREAT ; CHARTER ; OF ; TOLERATION ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; HE ; HAD ; CONFIRMED ; TO ; EACH ; INDIVIDUAL ; OF ; THE ; ROMAN ; WORLD ; THE ; PRIVILEGE ; OF ; CHOOSING ; AND ; PROFESSING ; HIS ; OWN ; RELIGION ; THE
The dataset I tested on is part of the librispeech test-clean dataset (reader id beginning with 1, 2 and 3, 1074 files in total.), and the average WER on this dataset is 20.3%. Below is the hparams I used for searching:
test_search: !new:speechbrain.decoders.S2SRNNBeamSearchLM
embedding: !ref <embedding>
decoder: !ref <decoder>
linear: !ref <seq_lin>
ctc_linear: !ref <ctc_lin>
language_model: !ref <lm_model>
bos_index: 0
eos_index: 0
blank_index: 0
min_decode_ratio: 0.0
max_decode_ratio: 1.0
beam_size: 80
eos_threshold: 1.5
using_max_attn_shift: true
max_attn_shift: 240
coverage_penalty: 1.5
lm_weight: 0.5
ctc_weight: 0.0
temperature: 1.25
temperature_lm: 1.25
I also found that if I change the testing batch_size from 8 to 1, the WER can be reduced from 20.3% to 2.8%, which I believe should be the normal result. I am thus wondering whether the padding might be the main reason for this problem.
Issue Analytics
- State:
- Created 2 years ago
- Comments:31
Top Results From Across the Web
FastCorrect: Fast Error Correction with Edit Alignment ... - arXiv
insertion, deletion, and substitution) in ASR, we propose FastCorrect, a novel NAR error correction model based on edit alignment.
Read more >Fine-Tune Wav2Vec2 for English ASR with Transformers
In this notebook, we will give an in-detail explanation of how Wav2Vec2's pretrained checkpoints can be fine-tuned on any English ASR dataset.
Read more >FastCorrect: Fast Error Correction with Edit Alignment for ...
We propose a non-autoregressive model named FastCorrect to correct errors in the recognized text from ASR, which can speed up the inference over...
Read more >How to Make an End to End Automatic Speech Recognition ...
In this post, we describe the end-to-end process of training speech recognition systems using wav2vec 2.0 using audio only with only a tiny ......
Read more >Effectively pretraining a speech translation decoder with ...
pretrained NMT decoder for speech translation. ... proposed to address this problem. ... of the ASR model and the decoder parameters of.
Read more >
Top Related Medium Post
No results found
Top Related StackOverflow Question
No results found
Troubleshoot Live Code
Lightrun enables developers to add logs, metrics and snapshots to live code - no restarts or redeploys required.
Start Free
Top Related Reddit Thread
No results found
Top Related Hackernoon Post
No results found
Top Related Tweet
No results found
Top Related Dev.to Post
No results found
Top Related Hashnode Post
No results found
I think several reasons can cause this problem: (1) The one mentioned in #931 (2) A bug in
TransformerASR.decode(). See the code below https://github.com/speechbrain/speechbrain/blob/725b37219b2776329039dfa9e1118f881f853fb9/speechbrain/lobes/models/transformer/TransformerASR.py#L262-L268You can see that the attention decoder does not use
memory key padding mask, neither does it usetgt key padding mask. This means the padding also contributes to the attention. If you vary the batch size, you also vary the paddingAs I mentioned in a separate issue, the conv1d layers with long receptive field can cause differences to arise from the padding (small, in my experience with another setup). But RE padding & masking, we found it is potentially a rich source of bugs, so might be worth checking your code carefully. I notice it is repeating the entire sentence, which makes me wonder whether the issue might be with the BOS and EOS symbols being the same, perhaps it is somehow, through a bug, putting EOS back into the attention decoder and then recovering the first word of the sentence again.