victor-chur commited on
Commit
8ff7d89
·
verified ·
1 Parent(s): 7c82377

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -3
app.py CHANGED
@@ -4,7 +4,9 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
4
  # Задаем имя модели на Hugging Face
5
  model_name = "AnatoliiPotapov/T-lite-instruct-0.1"
6
  tokenizer = AutoTokenizer.from_pretrained(model_name)
7
- model = AutoModelForCausalLM.from_pretrained(model_name)
 
 
8
 
9
  # Функция для генерации ответа от модели
10
  def generate_response(input_text):
@@ -22,5 +24,5 @@ iface = gr.Interface(
22
  description="Введите текст и получите ответ от модели"
23
  )
24
 
25
- # Запуск интерфейса
26
- iface.launch()
 
4
  # Задаем имя модели на Hugging Face
5
  model_name = "AnatoliiPotapov/T-lite-instruct-0.1"
6
  tokenizer = AutoTokenizer.from_pretrained(model_name)
7
+
8
+ # Загрузка модели с параметрами для оптимизации работы на CPU
9
+ model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", low_cpu_mem_usage=True)
10
 
11
  # Функция для генерации ответа от модели
12
  def generate_response(input_text):
 
24
  description="Введите текст и получите ответ от модели"
25
  )
26
 
27
+ # Запуск интерфейса с публичным доступом
28
+ iface.launch(share=True, server_port=7860)