app.py

from transformers import BertTokenizer, EncoderDecoderModel
import gradio as gr

tokenizerM = BertTokenizer.from_pretrained("mareloraby/BERTShared-meter2poem-arV01")
bertSharedM = EncoderDecoderModel.from_pretrained("mareloraby/BERTShared-meter2poem-arV01")

def generate_response(text, k = 70, p = 0.9, nb = 4):
# meters = set(['الرمل','البسيط','الخفيف','الكامل','السريع','الطويل','المتقارب','الرجز','المجتث','المنسرح','الوافر','المقتضب','الهزج','المديد','المضارع'])
  prompt = f"{text}"
  encoded_prompt = tokenizerM.encode_plus(prompt, return_tensors = 'pt').to(device)
  gneration = bertSharedM.generate(
                            input_ids = encoded_prompt.input_ids, 
                            attention_mask = encoded_prompt.attention_mask, 
                            do_sample = True,
                            top_k= k, 
                            top_p = p,
                            num_beams= nb,
                            max_length =130, 
                            repetition_penalty = 2.0,  
                            no_repeat_ngram_size = 2,
                            early_stopping=True)
                    
  generated_text = tokenizerM.decode(gneration[0], skip_special_tokens=True) 
  bayts = generated_text.split("[SOB]")
  while("BSEP" not in bayts[-1]):
    bayts = bayts[:-1]
  # if(len(bayts[-1]) < 2):
  #   bayts = bayts[:-1]
  bayts = bayts[:-1]
  temp_poem = ''
  for b in range(len(bayts)):
      temp_line = bayts[b].split('[BSEP]')
      temp_poem = temp_poem + temp_line[1] + ' - ' + temp_line[0] +'\n'

  return temp_poem
  
  
  
gr.Interface(fn=generate_response,
           title = 'BERTShared - meter based generation',
          #  description ='''
          #  topics : ['حزينه','هجاء','عتاب','غزل','مدح','رومنسيه','دينية','وطنيه']
          #  ''',
            inputs=[
        gr.inputs.Radio(['الرمل','البسيط','الخفيف','الكامل','السريع','الطويل','المتقارب','الرجز','المجتث','المنسرح','الوافر','المقتضب','الهزج','المديد','المضارع'],label='Choose Meter'),
        gr.inputs.Slider(10, 200, step=10,default = 70, label='Top-K'),
        gr.inputs.Slider(0.10, 0.99, step=0.02, default = 0.90, label='Top-P'),
        gr.inputs.Slider(1, 20, step=1, default = 4, label='Beams'),
        ],
           outputs="text").launch()