Update src/streamlit_app.py

src/streamlit_app.py

@@ -1,40 +1,3 @@
-Absolument ! Voici une version améliorée du code.
-
-Cette nouvelle version intègre plusieurs améliorations clés :
-
-Design et Interface Utilisateur (UI) : Utilisation de st.sidebar pour les options et les crédits, et st.container pour une meilleure organisation visuelle du chat.
-
-Gestion des Modèles : Le code est maintenant plus flexible. Il vous permet de choisir entre le modèle original (Apertus-8B) et le modèle plus puissant que vous avez suggéré (Apertus-70B), et même d'autres si vous le souhaitez.
-
-Authentification Hugging Face : Intégration de la connexion via huggingface_hub pour utiliser des modèles qui pourraient être privés ou nécessiter une authentification. Le token est demandé de manière sécurisée via st.text_input de type "password".
-
-Paramètres de Génération Ajustables : Les paramètres comme la température, le top_p et le nombre maximum de tokens sont maintenant des curseurs dans la barre latérale, permettant à l'utilisateur de les ajuster dynamiquement.
-
-Optimisation et Clarté : Le code est restructuré en fonctions plus claires pour une meilleure lisibilité et maintenance.
-
-Aperçu du nouveau design
-
-L'interface sera divisée en deux parties :
-
-Une barre latérale (Sidebar) à gauche pour la configuration :
-
-Connexion à Hugging Face.
-
-Sélection du modèle.
-
-Réglage des paramètres de génération.
-
-Un bouton pour effacer l'historique.
-
-La fenêtre de chat principale à droite pour la conversation.
-
-Le Code Amélioré
-code
-Python
-download
-content_copy
-expand_less
-
 import streamlit as st
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
@@ -160,8 +123,8 @@ if prompt := st.chat_input("Posez votre question à Apertus..."):
         response_placeholder = st.empty()
         with st.spinner("Réflexion en cours... 🤔"):
             # Préparation des entrées pour le modèle
-            full_prompt = f"User: {prompt}\nAssistant:"
-            input_ids = tokenizer(full_prompt, return_tensors="pt").to(model.device)
+            # Nous ne formaterons plus le prompt, le modèle instruct est déjà finetuné pour ça.
+            input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
 
             # Génération de la réponse
             outputs = model.generate(
@@ -176,36 +139,9 @@ if prompt := st.chat_input("Posez votre question à Apertus..."):
             # Décodage et nettoyage de la réponse
             response_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
             # Nettoyage pour retirer la question initiale de la réponse
-            cleaned_response = response_text.replace(full_prompt, "").strip()
+            cleaned_response = response_text.replace(prompt, "").strip()
             
             response_placeholder.markdown(cleaned_response)
     
     # Ajout de la réponse de l'assistant à l'historique
-    st.session_state.messages.append({"role": "assistant", "content": cleaned_response})
-Comment exécuter ce code
-
-Sauvegardez le code dans un fichier Python, par exemple app_v2.py.
-
-Installez les bibliothèques nécessaires si ce n'est pas déjà fait :
-
-code
-Bash
-download
-content_copy
-expand_less
-IGNORE_WHEN_COPYING_START
-IGNORE_WHEN_COPYING_END
-pip install streamlit torch transformers bitsandbytes accelerate huggingface_hub
-
-Lancez l'application depuis votre terminal :
-
-code
-Bash
-download
-content_copy
-expand_less
-IGNORE_WHEN_COPYING_START
-IGNORE_WHEN_COPYING_END
-streamlit run app_v2.py
-
-Votre navigateur s'ouvrira avec cette nouvelle interface, prête à l'emploi
+    st.session_state.messages.append({"role": "assistant", "content": cleaned_response})