vsevolodl/qwen3-embed-v3-bashar_docs-192-hn

Qwen/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 192, 'do_lower_case': False, 'architecture': 'Qwen3Model'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Who were some of the scholars mentioned as having transmitted knowledge from Hammad ibn Abi Qatada?',
    'بن أبي ثابت وغيرهم. وعنه ابن المبارك وحسين بن علي \\n\\nالجعفي وعبد الله بن صالح العجلي وأبو أحمد الزبيري وغيرهم. قال العجلي: ثقة، وقال أبو حنيفة: غلب حمزة الناس على القرآن والفرائض. وقال الثوري: ما قرأ حمزة حرفا من كتاب الله إلا بأثر. قال ابن حجر: انعقد الإجماع على تلقي قراءته بالقبول. لكن نقل صاحب المغني (1/492 ط 3) عن أحمد أنه كان يكره قراءة حمزة والكسائي لما فيها من الكسر والإدغام والتكلف وزيادة المد. (تهذيب التهذيب 3/27، وميزان الاعتدال 1/605، ووفيات الأعيان 1/167، والأعلام 2/308). \\n\\nخ \\n\\nخباب بن الأرت (؟ - 37 ه): \\n\\nهو خباب بن الأرت بن جندلة بن سعد، أبو يحيى أو أبو عبد',
    '179 ه) \\n\\nهو حماد بن زيد بن درهم، أبو \\n\\nإسماعيل، الأزدي الجهضمي البصري، شيخ العراق في عصره. من حفاظ الحديث المجودين. روى عن ثابت البناني، وأنس بن سيرين، وعبد العزيز بن صهيب، وعاصم الأحول، وصالح بن كيسان، وغيرهم. وعنه ابن المبارك، وابن وهب، وابن عيينة، والثوري، وهو أكبر منه، ومسلم بن إبراهيم وغيرهم. قال ابن مهدي: أئمة الناس في زمانهم أربعة: الثوري، ومالك، والأوزاعي، وحماد بن زيد. وقال يحيى بن معين: ليس أحد أثبت من حماد بن زيد، وقال يحيى بن يحيى: ما رأيت شيخا أحفظ منه. وقال أحمد بن حنبل: هو من أئمة المسلمين من أهل الدين، وهو أحب إلي من حماد بن سلمة، يحفظ أربعة آلاف حديث،',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.3468, 0.3071],
#         [0.3468, 1.0001, 0.2183],
#         [0.3071, 0.2183, 1.0000]])

Evaluation

Metrics

Information Retrieval

• Dataset: dim_1024
• Evaluated with InformationRetrievalEvaluator with these parameters:

  {
      "truncate_dim": 1024
  }
  

Metric	Value
cosine_accuracy@1	0.4622
cosine_accuracy@3	0.6261
cosine_accuracy@5	0.685
cosine_accuracy@10	0.7517
cosine_precision@1	0.4622
cosine_precision@3	0.2087
cosine_precision@5	0.137
cosine_precision@10	0.0752
cosine_recall@1	0.4622
cosine_recall@3	0.6261
cosine_recall@5	0.685
cosine_recall@10	0.7517
cosine_ndcg@10	0.6044
cosine_mrr@10	0.5576
cosine_map@100	0.5638

Information Retrieval

• Dataset: dim_256
• Evaluated with InformationRetrievalEvaluator with these parameters:

  {
      "truncate_dim": 256
  }
  

Metric	Value
cosine_accuracy@1	0.3826
cosine_accuracy@3	0.5428
cosine_accuracy@5	0.6102
cosine_accuracy@10	0.6834
cosine_precision@1	0.3826
cosine_precision@3	0.1809
cosine_precision@5	0.122
cosine_precision@10	0.0683
cosine_recall@1	0.3826
cosine_recall@3	0.5428
cosine_recall@5	0.6102
cosine_recall@10	0.6834
cosine_ndcg@10	0.528
cosine_mrr@10	0.4787
cosine_map@100	0.4864

Training Details

Training Dataset

Unnamed Dataset

• Size: 79,716 training samples
• Columns: anchor, positive, negative_1, negative_2, negative_3, and negative_4
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative_1	negative_2	negative_3	negative_4
  type	string	string	string	string	string	string
  details	min: 4 tokens mean: 24.06 tokens max: 58 tokens	min: 192 tokens mean: 192.0 tokens max: 192 tokens	min: 192 tokens mean: 192.0 tokens max: 192 tokens	min: 192 tokens mean: 192.0 tokens max: 192 tokens	min: 192 tokens mean: 192.0 tokens max: 192 tokens	min: 192 tokens mean: 192.0 tokens max: 192 tokens

• Samples:

  anchor	positive	negative_1	negative_2	negative_3	negative_4
  What are the differences in the rulings regarding the recitation of the verse "Sajdah" between different Islamic schools of thought?	في القرآن الكريم أربع عشرة آية فيها السجود: في الأعراف، والرعد، والنحل، والإسراء، ومريم، والحج، وفيها سجدتان في بعض المذاهب، وفي الفرقان، والنمل، والسجدة الم تنزيل و ص وفصلت، والنجم، والانشقاق، واقرأ، وزاد بعضهم آخر \n\nالحجر، والسجود عند الجمهور بقراءة آيات السجدة مسنون، وواجب عند الحنفية(). \n\nوتفصيل مواضع السجود، وعلى من يجب، وشروط السجود، كل ذلك تفصيله في مصطلح (سجود التلاوة). \n\n\n\n\n\n\n \n\nتلبية \n\nالتعريف: \n\n1 - التلبية لغة: إجابة المنادي، وهي إما في الحج وإما في غيره كالوليمة والتلبية في غير الحج. \n\nوقد سبق الكلام عنها في مصطلح (إجابة) ج 1 ص 251 وأما في الحج فالمراد بها	هي الأولى، والثانية سجدة الصلاة؛ ولأن السجدة متى قرنت بالركوع كانت عبارة عن سجدة الصلاة كما في قول الله تعالى: يا مريم اقنتي لربك واسجدي واركعي مع الراكعين() ولعدم سجود فقهاء المدينة وقرائهم فيها(). \n\n2 - سجدة سورة (ص): \n\n9 - ذهب الحنفية والمالكية إلى مشروعية السجود للتلاوة في سورة (ص)، لكن الحنفية قالوا في الصحيح عندهم: إن السجود عند قول الله تعالى: فغفرنا له ذلك وإن له عندنا لزلفى وحسنمآب(). \n\nوقال المالكية: السجود عند قول الله عز وجل:... وظن داود أنما فتناه فاستغفر ربه وخر راكعاوأناب() وهو المعتمد في المذهب خلافا لمن قال السجود عند قول الله تعالى: \n\n وحسن مآب،	مني كما قبلتها من عبدك داود فهو حسن() لما روى ابن عباس قال: «جاء رجل إلى النبي فقال: يا رسول الله، إني رأيتني الليلة وأنا نائم كأني أصلي خلف شجرة فسجدت، فسجدت الشجرة لسجودي فسمعتها وهي تقول: اللهم اكتب لي بها عندك أجرا، وضع عني بها وزرا، واجعلها لي عندك ذخرا، وتقبلها مني كما تقبلتها من عبدك داود، قال ابن عباس: فقرأ النبي سجدة ثم سجد \n\nفسمعته وهو ساجد يقول مثل ما أخبره الرجل عن قول الشجرة»،() ونقل عن الشافعي أن اختياره أن يقول الساجد في سجود التلاوة: سبحان ربنا إن كان وعد ربنا لمفعولا قال النووي: وظاهر القرآن يقتضي مدح هذا فهو حسن، وقال المتولي وغيره من الشافعية:	في الصلاة عمدا(). \n\nوذهب الحنفية إلى أنه لا بأس بأن يقرأ آية السجدة ويدع ما سواها؛ لأنه مبادرة إليها؛ ولأنها من القرآن وقراءة ما هو من القرآن طاعة كقراءة سورة من بين السور، والمستحب أن يقرأ معها آيات دفعا لوهم تفضيل آي السجدة على غيرها(). \n\nمجاوزة آية السجدة: \n\n19 - ذهب جمهور الفقهاء إلى أنه يكره للرجل أن يقرأ السورة أو الآيات في الصلاة أو غيرها يدع آية السجدة حتى لا يسجدها، لأنه لم ينقل عن السلف بل نقلت كراهته، ولأنه يشبه الاستنكاف؛ لأنه قطع لنظم القرآن وتغيير لتأليفه، واتباع النظم والتأليف مأمور به، قال تعالى: فإذا قرأناه فاتبع قرآنه(). أي تأليفه، فكان التغيير	في المذهب خلافا لمن قال السجود عند قول الله تعالى: \n\n وحسن مآب، ومن المالكية من اختار السجود في الأخير في كل موضع مختلف فيه ليخرج من الخلاف. \n\nواستدل الحنفية لمذهبهم، بما روى ابن عباس «أن النبي سجد في ص»(). وبما أخرجه أحمد عن أبي سعيد قال: «رأيت رؤيا وأنا أكتب سورة ص فلما بلغت السجدة رأيت الدواة والقلم وكل شيء بحضرتي انقلب ساجدا، فقصصتها على رسول الله فلم يزل يسجد بها»(). قال الكمال بن الهمام في الاستدلال بالحديث: فأفاد أن الأمر صار إلى المواظبة عليها كغيرها من غير ترك. \n\nواستدلوا كذلك بما روي عن عثمان أنه قرأ في الصلاة سورة (ص) وسجد وسجد الناس معه، وكان ذلك بمحضر
  Who were some of the notable companions of Abu al-Sha'ra al-Darami mentioned in the text?	ترجمته في ج 1 ص 337. \n\n\n\nأبو العشراء الدارمي (؟ -؟) \n\nقيل: اسمه يسار بن بكر بن مسعود بن خولي بن حرملة، أبو العشراء، الدارمي، التميمي. روى عن أبيه، وعنه حماد بن سلمة. وذكر أبو موسى المديني أنه وقع له من روايته عن النبي خمسة عشر حديثا. قال ابن حجر: وقفت على جمع حديثه وكلها بأسانيد مظلمة. ذكره ابن حبان في الثقات. وقال ابن سعد: هو مجهول. قال البخاري: في اسمه وحديثه وسماعه من أبيه نظر. \n\n(تهذيب التهذيب 12/167). \n\nأبو القاسم القشيري: ر: القشيري. \n\n\n\nأبو قتادة: هو الحارث بن ربعي: \n\nتقدمت ترجمته في ج 2 ص 404. \n\n\n\nأبو الليث السمرقندي: هو نصر بن محمد: \n\nتقدمت ترجمته في ج 1 ص	هو خير الدين بن أحمد بن نور الدين: \n\nتقدمت ترجمته في ج1 ص349 \n\nد \n\nالدارمي (قبل 200-280ه): \n\nهو أبو سعيد عثمان بن سعيد الدارمي السجستاني: \n\nسمع أبا اليمان الحكم بن نافع، ومسددا، وأحمد بن حنبل، ويحيى بن معين، وعلي بن المديني، وغيرهم. أخذ علم الحديث وعلله عن علي ويحيى وأحمد، وفاق أهل زمانه، وكان لهجا بالسنة، بصيرا بالمناظرة. حدث عنه أبو عمرو أحمد بن محمد الحيري، وأحمد بن محمد بن الأزهر، ومحمد بن يوسف الهروي وغيرهم، من مصنفاته «الرد على الجهمية» و«مسند» كبير. (السير للذهبي 13\319-326، طبقات الشافعية 2\302-306). \n\nالدردير: هو أحمد بن محمد: \n\nتقدمت ترجمته في ج1 ص350	الخفية من البحر الرائق» في فروع الفقه الحنفي، و «حاشية على الأشباه والنظائر» \n\n(خلاصة الأثر 2 \ 134، ومعجم المؤلفين 4 \ 132، والأعلام 4 \ 374) \n\nد \n\nالدارمي (181 - 255 ه) \n\nهو عبد الله بن عبد الرحمن بن الفضل التميمي الدارمي، أبو محمد. من أهل سمرقند. مفسر ومحدث وفقيه. استقضي على (سمرقند) فأبى فألح عليه السلطان، فقضى بقضية واحدة ثم استعفى، فأعفي. \n\nمن تصانيفه: «السنن»، و «الثلاثيات» وكلاهما في الحديث، و «المسند»، و «التفسير»، وكتاب «الجامع». \n\n(تهذيب التهذيب 5 \ 294، وتذكرة الحفاظ 2 \ 105 ومعجم المؤلفين 6 \ 71) \n\nالدباس: ر: أبو طاهر الدباس \n\nالدبوسي (- 430 ه وفي الجواهر	والشيخ محيي الدين الغزلي وغيرهم، وأخذ الحديث عن الشيخ عامر الشبراوي والشيخ عبد الجواد والجنبلاطي وغيرهم، ورجع إلى بلده وقد بلغ غاية الفضل. \n\nمن تصانيفه الكثيرة: «شرح الرحبية» في الفرائض، و «ضوء الإنسان في تفصيل الإنسان»، و «ألفية في النحو»، و «منظومة في المنسوخات». \n\n(خلاصة الأثير 3\475، ومعجم المؤلفين 10\ 87، والأعلام 7\32). \n\nتميم الداري (؟ - 40 ه) \n\nهو تميم بن أوس بن حارثة بن سود الداري، أبو رقية. صحابي، نسبته إلى الدار بن هانئ من لخم. كان راهب أهل عصره وعابد أهل فلسطين، فأسلم سنة 9ه وروي أنه قرأ القرآن في ركعة، وروي أنه اشترى رداء بألف درهم، وكان يصلي بأصحابه فيه،	بن خالد بن سعيد الدارمي السجستاني، أبو سعيد، سمع أبا اليمان الحكم ابن نافع، ومسددا، وأحمد بن حنبل، ويحيى بن معين، وعلي بن المديني، وغيرهم. أخذ علم الحديث وعلله عن علي ويحيى وأحمد، وفاق أهل زمانه، وكان لهجا بالسنة، بصيرا بالمناظرة. حدث عنه أبو عمرو أحمد بن محمد الحيري، وأحمد بن محمد بن الأزهر، ومحمد بن يوسف الهروي وغيرهم. من مصنفاته ((الرد على الجهمية)) و((مسند)) كبير. (السير للذهبي 13 / 319- 326، طبقات الشافعية 2 / 302- 306). \n\nالدسوقي: هو محمد بن أحمد: \n\nتقدمت ترجمته في ج1 ص350. \n\nالدميري: هو محمد بن موسى بن عيسى بن علي: \n\nتقدمت ترجمته في ج25 ص388. \n\nر \n\nراشد بن سعد
  What is the difference between using "أي" and "كل" or "كلما" in conditional statements regarding legal rulings?	أن حكم (أي) في التعليق كحكم (متى ومن وكلما) \n\nبمعنى أنه لو علق التصرف بنفي فعل بأي، كما لو علق الطلاق على نفي الدخول بأي، بأن قال: أي وقت لم تدخلي فيه الدار فأنت طالق، فإنه إن مضى زمن يمكنها فيه الدخول - ولم تدخل - فإنه يقع الطلاق بعده على الفور. \n\nوأما لو علق الطلاق على إيجاد فعل بأي، فلا تفيد الفور كغيرها من أدوات التعليق(). \n\nوجاء في تبيين الحقائق أن (أي) لا تعم بعموم الصفة فلو قال: أي امرأة أتزوجها فهي طالق، فإن ذلك يتحقق في امرأة واحدة فقط. \n\nبخلاف كلمتي (كل وكلما) فإنهما تفيدان عموم ما دخلتا عليه كما سيأتي(). \n\nز - كل وكلما : \n\n17 - كلمة (كل) تستعمل بمعنى	وذكرها أيضا صاحب كشاف القناع ولم يفرق بينها وبين (إن) في الحكم(). \n\nك - أنى: \n\n27 - وهي اسم اتفاقا وضع للدلالة على الأمكنة ثم ضمن معنى الشرط، وترد في اللغة بمعنى أين، وبمعنى كيف، وبمعنى متى. \n\nهذا وقد ذكر الحنابلة في كتبهم: أنها من \n\nالألفاظ التي يعلق بها الحكم، فقد جاء في كشاف القناع: أنه لو قال: أنت طالق أنى شئت، فإنها لا تطلق حتى تعرف مشيئتها بقولها، ولم يفرق بينها وبين (إن) لأن كلا منهما تدل على التعليق(). \n\nثالثا: شروط التعليق : \n\n28 - يشترط لصحة التعليق أمور: \n\nالأول: أن يكون المعلق عليه أمرا معدوما على خطر الوجود، أي مترددا بين أن يكون وأن لا يكون، فالتعليق على	يكون على الفور.() \n\nوالتفصيل محله مصطلح: (طلاق). \n\nب - إذا : \n\n9 - (إذا) ترد في اللغة على وجهين: \n\nأحدهما: أن تكون للمفاجأة، فتختص بالجمل الاسمية، ولا تحتاج إلى جواب، ولا تقع في الابتداء، ومعناها الحال لا الاستقبال. \n\nثانيهما: أن تكون لغير مفاجأة، فالغالب أن تكون ظرفا للمستقبل مضمنة معنى الشرط(). \n\nوخلاصة القول في إذا: أنها تستعمل عند الكوفيين في معنى الوقت، وفي معنى الشرط، \n\nوإذا استعملت في معنى الشرط سقط عنها معنى الوقت، وصارت حرفا كإن، وهو قول أبي حنيفة وقد سبق. \n\nوعند البصريين هي حقيقة في الوقت، وتستعمل في الشرط مع بقاء الوقت، وهو قول أبي يوسف ومحمد، فعندهما أنها	(إن) عليه. \n\nفالثلاثة الأول لا خلاف فيها، وأما الأمر الرابع وهو دلالة (إن) على عدم المشروط عند عدم الشرط فهو محل الخلاف وتفصيله في الملحق الأصولي. \n\nوالأمر المعلق بالشرط يقتضي التكرار كما في : وإن كنتم جنبا فاطهروا() يقتضي تكرر المأمور به عند تكرر شرطه بناء على القول بأن الأمر المطلق يقتضي التكرار. \n\nوأما على القول بأن الأمر المطلق لا يقتضي التكرار ولا يدفعه ففي كونه يقتضي التكرار هنا من جهة اللفظ لا من جهة القياس أو لا يقتضيه لا من جهة اللفظ ولا من جهة القياس أو لا يقتضيه من جهة اللفظ ويقتضيه من جهة القياس خلاف وينظر في الملحق الأصولي. \n\nأثر الشرط الجعلي التعليقي على	التعليق عند الفقهاء، لأنها وإن كان فيها معنى الشرط فإن الجزاء فيها لا يتوقع حصوله؛ لأنها لا تستعمل إلا في الماضي، ولا علاقة لها بالزمن المستقبل، فهي عندهم بمعنى الاستثناء لأنها تستعمل لنفي شيء بوجود غيره، فمن قال لزوجته: أنت طالق لولا حسنك، أو لولا صحبتك، لا يقع الطلاق حتى وإن زال الحسن أو انتفت الصحبة، لجعله ذلك مانعا من وقوع الطلاق.() \n\nط - كيف : \n\n24 - (كيف) تستعمل في اللغة على وجهين: أحدهما: أن تكون شرطا. \n\nوالثاني: وهو الغالب فيها: أن تكون استفهاما، إما حقيقيا نحو «كيف زيد؟» أو غيره نحو كيف تكفرون بالله() الآية، فإنه أخرج مخرج التعجب، وتقع خبرا قبل ما لا يستغنى،

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          256
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 4
• learning_rate: 2e-05
• num_train_epochs: 2
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	dim_1024_cosine_ndcg@10	dim_256_cosine_ndcg@10
0.0321	10	5.6091	-	-
0.0642	20	5.589	-	-
0.0963	30	5.3133	-	-
0.1284	40	5.2085	-	-
0.1605	50	4.9802	0.4470	0.3633
0.1926	60	4.7975	-	-
0.2247	70	4.6122	-	-
0.2568	80	4.5784	-	-
0.2889	90	4.4838	-	-
0.3210	100	4.3582	0.5099	0.4122
0.3531	110	4.2178	-	-
0.3852	120	4.1194	-	-
0.4173	130	4.0411	-	-
0.4494	140	3.9012	-	-
0.4815	150	3.855	0.5360	0.4391
0.5136	160	3.7776	-	-
0.5457	170	3.6881	-	-
0.5778	180	3.7353	-	-
0.6100	190	3.6221	-	-
0.6421	200	3.599	0.5668	0.4855
0.6742	210	3.5228	-	-
0.7063	220	3.5155	-	-
0.7384	230	3.5226	-	-
0.7705	240	3.39	-	-
0.8026	250	3.3959	0.5567	0.4654
0.8347	260	3.3582	-	-
0.8668	270	3.3795	-	-
0.8989	280	3.2888	-	-
0.9310	290	3.2523	-	-
0.9631	300	3.268	0.5835	0.5006
0.9952	310	3.2031	-	-
1.0257	320	2.8574	-	-
1.0578	330	2.7761	-	-
1.0899	340	2.8433	-	-
1.1220	350	2.8168	0.6004	0.5212
1.1541	360	2.7434	-	-
1.1862	370	2.7021	-	-
1.2183	380	2.7131	-	-
1.2504	390	2.716	-	-
1.2825	400	2.8314	0.6044	0.5280

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.1.1
• Transformers: 4.56.2
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.2.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}