Gibberish text generation after converting to Huggingface.

Hi, I am having trouble converting my checkpoints to Huggingface format. The model works fine when using Deepspeed + Megatron (example).

generate_samples_from_prompt(neox_args, model, ['สวัสดีครับ' for i in range(1)],temperature=0.9, top_k=40)
>>  {'context': 'สวัสดีครับ', ## means 'hello'
  'text': 'เพื่อนๆครับ มีเพื่อนๆ คนไหนที่ทำงานแล้ว หรือกำลังทำงานแล้ว แล้วได้ลาออกจากงานไปแล้วแต่ยังหางานอยู่บ้างครับ พอดีอยากทราบวิธีหางานหรือแนะนำบริษัท ที่ให้เงินเดือนดี และน่าเชื่อถือหน่อยครับ'}

However, it becomes gibberish when converted into Huggingface format (example).

pipe = TextGenerationPipeline(model, tok, device=0)
pipe("สวัสดีครับ",max_new_tokens=50, top_k=40,do_sample=True, temperature=0.9)
>>  [{'generated_text': 'สวัสดีครับ ค.. ดี. แรง 1-". และทำ<|endoftext|>'}]

I have tried multiple conversion scripts so far (e.g., this and this) without success.

All the related files (weights, config, and tokenizer) are in my google drive.

Any help is greatly appreciated!

[haileyschoelkopf]

Still working on finding the possible issue here–I’ll keep you posted!

[haileyschoelkopf]

Thank you!! I’ll try this to convert your checkpoint as soon as I can, hopefully later today or early tomorrow!