Update app.py

app.py

@@ -23,6 +23,11 @@ if uploaded_file is not None:
     # تحديد الفئات
     categories = ["shop", "game", "stream"]
 
+    # قوائم مرجعية لكل فئة لتحسين الدقة
+    shopping_keywords = ["buy", "shop", "purchase", "product", "categories", "supplier", "delivered"]
+    gaming_keywords = ["play", "game", "player", "level", "score"]
+    streaming_keywords = ["watch", "stream", "video", "live"]
+
     # قوائم لتخزين النتائج
     shopping_items = []
     gaming_items = []
@@ -40,9 +45,6 @@ if uploaded_file is not None:
     # قائمة لتحليل الصيغ (Extensions)
     extensions = {}
 
-    # قائمة لتحليل أنماط الصفحات الكاملة (Full PageType)
-    full_page_types = []
-
     # متغيرات للتحكم في العملية
     progress_bar = st.progress(0)
     pause_button = st.button("Pause")
@@ -51,9 +53,9 @@ if uploaded_file is not None:
     paused = False
     stopped = False
     current_index = 0  # مؤشر للكلمة الحالية
-    batch_size = 10  # عدد العناصر التي يتم معالجتها في الدفعة الواحدة
+    batch_size = 50  # عدد العناصر التي يتم معالجتها في الدفعة الواحدة
 
-    # دالة تصنيف الكلمات باستخدام الدفعات
+    # دالة تصنيف الكلمات باستخدام القوائم المرجعية أولاً ثم النموذج
     def classify_keywords_batch(items, categories, start_index=0):
         global paused, stopped, current_index
         total_items = len(items)
@@ -66,26 +68,34 @@ if uploaded_file is not None:
 
             # معالجة دفعة من العناصر
             batch = items[i:i + batch_size]
-            results = classifier(batch, categories)
-
-            for j, result in enumerate(results):
-                best_category = result['labels'][0]
-                score = result['scores'][0]
-
-                if best_category == "shop" and score > 0.5:
-                    shopping_items.append(batch[j])
-                elif best_category == "game" and score > 0.5:
-                    gaming_items.append(batch[j])
-                elif best_category == "stream" and score > 0.5:
-                    streaming_items.append(batch[j])
+            for word in batch:
+                # تصنيف الكلمة باستخدام القوائم المرجعية أولاً
+                if word.lower() in shopping_keywords:
+                    shopping_items.append(word)
+                elif word.lower() in gaming_keywords:
+                    gaming_items.append(word)
+                elif word.lower() in streaming_keywords:
+                    streaming_items.append(word)
                 else:
-                    unknown_items.append(batch[j])
+                    # تصنيف الكلمة باستخدام النموذج إذا لم تكن في القوائم المرجعية
+                    result = classifier(word, categories)
+                    best_category = result['labels'][0]
+                    score = result['scores'][0]
+
+                    if best_category == "shop" and score > 0.5:
+                        shopping_items.append(word)
+                    elif best_category == "game" and score > 0.5:
+                        gaming_items.append(word)
+                    elif best_category == "stream" and score > 0.5:
+                        streaming_items.append(word)
+                    else:
+                        unknown_items.append(word)
 
             # تحديث المؤشر الحالي
-            current_index = min(i + batch_size, total_items)  # تأكد من عدم تجاوز المؤشر للعدد الإجمالي
+            current_index = i + batch_size
 
             # تحديث شريط التقدم
-            progress = min((current_index) / total_items, 1.0)  # تأكد من أن قيمة التقدم لا تتجاوز 1.0
+            progress = min((current_index) / total_items, 1.0)
             progress_bar.progress(progress)
 
             # تحديث النتائج في الوقت الحقيقي
@@ -109,7 +119,7 @@ if uploaded_file is not None:
             batch = items[i:i + batch_size]
             for url in batch:
                 # استخراج الباراميترات من الرابط باستخدام RegEx
-                params = re.findall(r'(\w+)=\w+', url)
+                params = re.findall(r'(\w+)=', url)
                 for param in params:
                     # تصنيف الباراميتر باستخدام zero-shot-classification
                     result = classifier(param, categories)
@@ -125,26 +135,27 @@ if uploaded_file is not None:
                     else:
                         param_categories["unknown_params"].append(param)
 
-                # استخراج الصيغ (Extensions) من الروابط
-                match = re.search(r'\.([a-zA-Z0-9]+)$', url)
-                if match:
-                    ext = match.group(1)
+                # استخراج ا��أنماط الكاملة للصفحات (Full PageType)
+                page_type_match = re.search(r'(\w+\.[a-z]+)\?', url)
+                if page_type_match:
+                    page_type = page_type_match.group(1)
+                    if 'full_page_types' not in st.session_state:
+                        st.session_state.full_page_types = set()
+                    st.session_state.full_page_types.add(page_type)
+
+                # استخراج الصيغ (Extensions) بدون علامات الاستفهام
+                extension_match = re.search(r'\.([a-z]+)(\?|$)', url)
+                if extension_match:
+                    ext = extension_match.group(1)
                     if ext not in extensions:
                         extensions[ext] = 0
                     extensions[ext] += 1
 
-                # استخراج أنماط الصفحات الكاملة (Full PageType)
-                page_type_match = re.search(r'(\w+\.php|\w+\.html)\?', url)
-                if page_type_match:
-                    page_type = page_type_match.group(1)
-                    if page_type not in full_page_types:
-                        full_page_types.append(page_type)
-
             # تحديث المؤشر الحالي
-            current_index = min(i + batch_size, total_items)  # تأكد من عدم تجاوز المؤشر للعدد الإجمالي
+            current_index = i + batch_size
 
             # تحديث شريط التقدم
-            progress = min((current_index) / total_items, 1.0)  # تأكد من أن قيمة التقدم لا تتجاوز 1.0
+            progress = min((current_index) / total_items, 1.0)
             progress_bar.progress(progress)
 
             # تحديث النتائج في الوقت الحقيقي
@@ -155,7 +166,7 @@ if uploaded_file is not None:
 
     # دالة تحديث النتائج
     def update_results():
-        # تحديث محتوى المربعات النصية
+        # تحديث محتوى المربعات النصية للكلمات المفتاحية
         st.session_state.shopping_text = "\n".join(shopping_items)
         st.session_state.gaming_text = "\n".join(gaming_items)
         st.session_state.streaming_text = "\n".join(streaming_items)
@@ -171,7 +182,7 @@ if uploaded_file is not None:
         st.session_state.extensions_text = "\n".join(extensions.keys())
 
         # تحديث محتوى المربع الخاص بأنماط الصفحات الكاملة
-        st.session_state.full_page_types = "\n".join(full_page_types)
+        st.session_state.full_page_types = "\n".join(st.session_state.full_page_types)
 
     # دالة تصدير النتائج
     def export_results(key, filename):
@@ -193,12 +204,12 @@ if uploaded_file is not None:
     # زر الإيقاف المؤقت
     if pause_button:
         paused = True
-        st.write("Classification paused.")
+        st.write("Process paused.")
 
     # زر الاستمرار
     if continue_button and paused:
         paused = False
-        st.write("Classification resumed.")
+        st.write("Process resumed.")
         if operation == "Filter Keywords":
             classify_keywords_batch(items, categories, start_index=current_index)
         elif operation == "Extra & Filter Param (URLs)":
@@ -207,7 +218,7 @@ if uploaded_file is not None:
     # زر التوقف الكامل
     if stop_button:
         stopped = True
-        st.write("Classification stopped.")
+        st.write("Process stopped.")
 
     # عرض النتائج بناءً على الخيار المختار
     if operation == "Filter Keywords":
@@ -262,13 +273,6 @@ if uploaded_file is not None:
         st.text_area("Copy the unknown parameters here:", value=st.session_state.unknown_params, height=200, key="unknown_params")
         st.button("Export Unknown Parameters", on_click=export_results, args=("unknown_params", "unknown_params.txt"))
 
-        # عرض الصيغ (Extensions)
-        st.header("File Extensions")
-        if 'extensions_text' not in st.session_state:
-            st.session_state.extensions_text = ""
-        st.text_area("Copy the file extensions here:", value=st.session_state.extensions_text, height=200, key="extensions")
-        st.button("Export File Extensions", on_click=export_results, args=("extensions_text", "file_extensions.txt"))
-
         # عرض أنماط الصفحات الكاملة (Full PageType)
         st.header("Full PageType")
         if 'full_page_types' not in st.session_state:
@@ -276,5 +280,12 @@ if uploaded_file is not None:
         st.text_area("Copy the full page types here:", value=st.session_state.full_page_types, height=200, key="full_page_types")
         st.button("Export Full PageTypes", on_click=export_results, args=("full_page_types", "full_page_types.txt"))
 
+        # عرض الصيغ (File Extensions)
+        st.header("File Extensions")
+        if 'extensions_text' not in st.session_state:
+            st.session_state.extensions_text = ""
+        st.text_area("Copy the file extensions here:", value=st.session_state.extensions_text, height=200, key="extensions")
+        st.button("Export File Extensions", on_click=export_results, args=("extensions_text", "file_extensions.txt"))
+
 else:
     st.warning("Please upload a text file to start classification.")