Noureddinesa/Invoices_NomicV1.5_2

SentenceTransformer based on nomic-ai/nomic-embed-text-v1.5

This is a sentence-transformers model finetuned from nomic-ai/nomic-embed-text-v1.5 on the invoices_embedding_3 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: nomic-ai/nomic-embed-text-v1.5
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • invoices_embedding_3

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Noureddinesa/Invoices_NomicV1.5_2")
# Run inference
sentences = [
    'Une société de téléphonie mobile, réalisant que ses anciens modèles de téléphones ne se vendent plus, décide de provisionner 500 000 dirhams sur un total de 3 millions de dirhams pour ces modèles obsolètes.',
    "Le compte de provisions pour dépréciation des immobilisations enregistre les pertes de valeur potentielles des biens durables de l'entreprise, qu'ils soient matériels (comme des machines) ou immatériels (comme des logiciels).\n\n1. Une entreprise constate que l'ordinateur utilisé depuis plusieurs années perd de sa valeur et crée une provision pour cette dépréciation. 2. Une société immobilière doit ajuster la valeur de ses bâtiments en raison d'une baisse du marché immobilier. 3. Un studio de design évalue la perte de valeur de ses équipements créatifs après plusieurs années d'utilisation. 4. Une entreprise de transport met une provision pour la dépréciation de ses camions vieillissants. 5. Un éditeur de logiciels ajuste la valeur de sa propriété intellectuelle en raison de l'émergence de nouvelles technologies. 6. Un constructeur automobile constate que certains modèles ne se vendent plus bien et prépare une provision pour leur dépréciation. 7. Un restaurant ajuste la valeur de son mobilier ancien qui a perdu de son attrait. 8. Une société de production audiovisuelle prend en compte la dépréciation de ses équipements de tournage. 9. Un cabinet médical observe que son matériel médical devient obsolète et crée une provision en conséquence. 10. Une entreprise de construction ajuste la valeur de ses machines après un certain temps d'utilisation. 11. Un musée doit établir une provision pour la dépréciation de ses œuvres d'art moins prisées. 12. Une société de télécommunications évalue la baisse de valeur de ses antennes anciennes. 13. Un club de sport met à jour la valeur de ses installations vieilles de plusieurs décennies. 14. Un opérateur de location de voitures doit créer une provision pour la dépréciation de son parc automobile. 15. Une entreprise de nettoyage évalue la perte de valeur de ses équipements de nettoyage avec le temps.",
    "Le matériel de transport désigne tous les véhicules et équipements utilisés pour déplacer des personnes ou des marchandises, que ce soit par voie terrestre, aérienne ou maritime. Cela inclut les moyens de transport affectés au tourisme ou à l'usage du personnel d'une entreprise.\n\n1. Un bus utilisé pour transporter des employés au travail. 2. Un camion de livraison pour acheminer des marchandises. 3. Une voiture de société mise à disposition d'un salarié. 4. Un bateau de croisière pour le tourisme. 5. Un avion de ligne pour le transport de passagers. 6. Un train utilisé pour le transport de marchandises. 7. Un vélo de fonction pour les déplacements professionnels. 8. Un fourgon utilisé pour des services de dépannage. 9. Un hélicoptère pour des missions d'urgence ou de transport de personnes. 10. Un tramway utilisé pour les transports en commun. 11. Un ferry reliant deux rives pour le transport de véhicules. 12. Un autocar pour des excursions touristiques. 13. Un taxi pour le transport de personnes. 14. Un véhicule utilitaire léger (VUL) pour des travaux sur site. 15. Un scooter utilisé pour des livraisons rapides.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: all-nli-test
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	1.0

Training Details

Training Dataset

invoices_embedding_3

• Dataset: invoices_embedding_3 at 16dc23e
• Size: 1,151 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 32 tokens mean: 64.89 tokens max: 120 tokens	min: 217 tokens mean: 417.0 tokens max: 648 tokens	min: 217 tokens mean: 415.76 tokens max: 655 tokens

• Samples:

  anchor	positive	negative
  Une collectivité locale verse un acompte de 1 000 000 MAD pour un projet de construction de routes, afin de débuter les travaux d'infrastructure. Cet acompte est inscrit dans les comptes comme une avance sur immobilisations corporelles.	Les avances et acomptes sur immobilisations corporelles représentent des paiements anticipés effectués pour des biens durables, comme des équipements ou des bâtiments, avant leur réception. 1. Paiement d'un acompte pour l'achat d'une machine de production. 2. Versement d'une avance pour la construction d'un nouveau bâtiment. 3. Acompte payé pour un véhicule utilitaire. 4. Avance versée pour des travaux de rénovation d'un local commercial. 5. Paiement anticipé pour l'achat de matériel informatique. 6. Acompte pour une commande de mobilier de bureau. 7. Versement d'une avance pour une installation de panneaux solaires. 8. Paiement d'acompte pour des équipements de sécurité. 9. Avance versée pour la commande de matériel de laboratoire. 10. Acompte pour l'achat de machines agricoles. 11. Paiement anticipé pour des équipements sportifs. 12. Versement d'une avance pour des travaux d'aménagement paysager. 13. Acompte pour l'achat de matériel médical. 14. Paiement d'une avance pour des instal...	Les achats de matières et fournitures consommables concernent l'acquisition de biens qui sont utilisés ou consommés dans le cadre d'activités professionnelles. Cela inclut des produits qui ne sont pas destinés à être revendus mais à soutenir l'exploitation d'une entreprise. 1. Achat de papier pour imprimante pour le bureau. 2. Achat de produits de nettoyage pour entretenir les locaux. 3. Achat de vis et boulons pour des réparations en atelier. 4. Achat de produits alimentaires pour la cantine d'entreprise. 5. Achat de fournitures médicales pour un cabinet de santé. 6. Achat de matériel de jardinage pour l'entretien d'espaces verts. 7. Achat de matériel informatique (souris, claviers) pour les employés. 8. Achat de peinture pour rafraîchir les bureaux. 9. Achat de vêtements de travail pour les employés. 10. Achat de fournitures scolaires pour une école. 11. Achat de matériel de sécurité (casques, gants) pour un chantier. 12. Achat de récipients pour stocker des produits chimiques. 13. ...
  Une société de sécurité engage un service de transport pour déplacer ses agents vers un événement spécial, avec des frais de 1 000 dirhams pour le transport aller-retour.	Les transports regroupent les frais liés au déplacement du personnel et au transport des marchandises lors des achats et des ventes. Ces coûts s'ajoutent aux frais d'acquisition d'immobilisations si le transport est lié à leur achat. 1. Frais de taxi pour des employés se rendant à une réunion. 2. Coût du transport de marchandises depuis un entrepôt jusqu'à un client. 3. Dépenses de livraison pour des produits achetés en gros. 4. Frais de transport pour un salon professionnel. 5. Coût d'envoi d'échantillons à des clients potentiels. 6. Remboursement des frais de transport pour des déplacements professionnels. 7. Paiement pour le transport de matériel lors d'un déménagement de bureau. 8. Coût de livraison d'une commande en ligne. 9. Frais de transport pour des produits retournés par des clients. 10. Dépenses liées au transport de fournitures de bureau. 11. Coût de transport pour des marchandises importées. 12. Remboursement des frais de carburant pour des trajets professionnels. 13. Pai...	Les redevances de crédit-bail sont les paiements effectués par une entreprise pour louer des biens matériels, comme des équipements ou des meubles, via un contrat de leasing. Ce contrat permet à l'entreprise de louer un bien avec la possibilité de l'acheter à la fin de la période de location. Les paiements sont enregistrés comme des charges et peuvent inclure la TVA récupérable. 1. Une entreprise loue des photocopieurs pour son bureau et paie chaque mois une redevance. 2. Une société de construction prend en location des machines pour un projet et paye des redevances mensuelles. 3. Un restaurant loue du mobilier de salle à manger sous un contrat de leasing. 4. Une clinique loue des équipements médicaux avec une option d'achat à la fin du contrat. 5. Un gymnase loue des appareils de fitness pour une durée déterminée. 6. Une entreprise de transport loue des camions pour ses opérations logistiques. 7. Une école loue des ordinateurs pour ses élèves avec une possibilité d'achat à la fin de...
  Lors de l'importation de boissons gazeuses, l'entreprise AC doit payer des droits d'accise de 2 000 dirhams, qui seront comptabilisés comme impôts indirects.	Les impôts et taxes indirects sont des prélèvements que l'on paie lors de l'achat de biens ou de services, sans qu'ils soient directement inclus dans le prix. Ils peuvent inclure des droits de douane, des taxes sur la valeur ajoutée (TVA) ou d'autres charges qui s'ajoutent au coût initial. 1. Lors de l'importation d'un produit, le droit de douane appliqué en plus du prix d'achat. 2. La TVA ajoutée à l'achat d'un vêtement dans un magasin. 3. Les taxes sur les carburants lors du remplissage d'un réservoir de voiture. 4. Les droits d'accise sur l'achat d'alcool ou de tabac dans un commerce. 5. Les frais de transport international qui incluent des taxes de passage. 6. Les tarifs d'importation sur des produits électroniques. 7. Les taxes sur les services de télécommunication comme la téléphonie mobile. 8. Les droits sur les produits alimentaires importés. 9. Les taxes environnementales sur les emballages de produits. 10. Les frais de douane pour l'importation de meubles. 11. Les taxes sur ...	Le mobilier de bureau désigne l'ensemble des meubles utilisés dans un espace de travail, tels que les bureaux, chaises, tables et rangements, qui contribuent à l'organisation et au confort des employés. 1. Un bureau en bois massif dans un cabinet d'architecte. 2. Des chaises ergonomiques dans une salle de réunion. 3. Un espace de travail avec des tables modulables dans une start-up. 4. Des étagères pour ranger des dossiers dans un bureau administratif. 5. Un comptoir d'accueil dans une entreprise. 6. Des fauteuils confortables dans une salle d'attente. 7. Un bureau debout pour favoriser une meilleure posture. 8. Des meubles de rangement pour les fournitures de bureau. 9. Une table de conférence pour les réunions d'équipe. 10. Un bureau partagé dans un espace de coworking. 11. Des casiers pour les effets personnels des employés. 12. Un meuble TV dans une salle de pause. 13. Des panneaux de séparation pour créer des espaces privés. 14. Des meubles de rangement pour l'équipement informat...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

invoices_embedding_3

• Dataset: invoices_embedding_3 at 16dc23e
• Size: 164 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 164 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 30 tokens mean: 64.45 tokens max: 123 tokens	min: 217 tokens mean: 427.87 tokens max: 648 tokens	min: 229 tokens mean: 420.05 tokens max: 655 tokens

• Samples:

  anchor	positive	negative
  Une société de télécommunications paie un acompte de 300 000 MAD pour l'achat de nouveaux équipements de réseau. Cet acompte est essentiel pour le développement de l'infrastructure et est comptabilisé comme une avance sur immobilisations corporelles.	Les avances et acomptes sur immobilisations corporelles représentent des paiements anticipés effectués pour des biens durables, comme des équipements ou des bâtiments, avant leur réception. 1. Paiement d'un acompte pour l'achat d'une machine de production. 2. Versement d'une avance pour la construction d'un nouveau bâtiment. 3. Acompte payé pour un véhicule utilitaire. 4. Avance versée pour des travaux de rénovation d'un local commercial. 5. Paiement anticipé pour l'achat de matériel informatique. 6. Acompte pour une commande de mobilier de bureau. 7. Versement d'une avance pour une installation de panneaux solaires. 8. Paiement d'acompte pour des équipements de sécurité. 9. Avance versée pour la commande de matériel de laboratoire. 10. Acompte pour l'achat de machines agricoles. 11. Paiement anticipé pour des équipements sportifs. 12. Versement d'une avance pour des travaux d'aménagement paysager. 13. Acompte pour l'achat de matériel médical. 14. Paiement d'une avance pour des instal...	Les immobilisations corporelles en cours de matériel de transport représentent les dépenses engagées pour la fabrication ou l'acquisition de véhicules et équipements de transport que l'entreprise utilise pour ses activités. Ce compte reflète les coûts accumulés jusqu'à ce que le matériel soit prêt à être utilisé. 1. Coûts de fabrication d'un nouveau camion pour la livraison de produits. 2. Frais liés à l'assemblage d'un véhicule utilitaire. 3. Dépenses pour l'achat de pièces détachées pour un bus en construction. 4. Salaires des ouvriers travaillant sur un projet de fabrication de motos. 5. Coûts de recherche et développement pour un nouveau modèle de voiture. 6. Charges de location d'un espace de travail pour le montage de matériel de transport. 7. Dépenses d'outillage nécessaire à la production d'un véhicule. 8. Coûts de transport des matériaux nécessaires à la fabrication d'un véhicule. 9. Dépenses liées à la formation des employés sur un nouveau type de transport. 10. Coûts de cer...
  La société E a acheté des petits outils nécessaires pour des réparations dans ses locaux, totalisant 600 dirhams, sans gestion de stock, payé par chèque.	Les achats non stockés de matières et de fournitures concernent les biens et services que l'entreprise utilise directement sans les conserver en stock, comme l'eau, l'électricité et d'autres fournitures jugées non nécessaires à stocker. 1. Achat d'eau pour les besoins d'une cantine d'entreprise. 2. Facture d'électricité pour le fonctionnement des bureaux. 3. Achat de papier et fournitures de bureau pour des projets ponctuels. 4. Achat de services de nettoyage pour les locaux de l'entreprise. 5. Paiement d'un abonnement à un service de cloud pour le stockage de données. 6. Achat de carburant pour les véhicules de l'entreprise. 7. Coût des services de télécommunication pour les employés. 8. Achat de petits outils utilisés lors de réparations, sans gestion de stock. 9. Frais d'entretien d'équipements sans pièces de rechange stockées. 10. Achat de matériel de sécurité pour un événement spécifique. 11. Coût de la publicité sur les réseaux sociaux. 12. Paiement pour des services de conseil ...	Le matériel de bureau désigne l'ensemble des équipements utilisés dans un bureau pour faciliter le travail administratif et organisationnel. 1. Une photocopieuse utilisée pour reproduire des documents. 2. Un ordinateur personnel pour gérer des fichiers et communiquer par email. 3. Une machine à écrire pour rédiger des lettres. 4. Un scanner pour numériser des documents. 5. Des chaises ergonomiques pour le confort des employés. 6. Un bureau pour travailler. 7. Des fournitures de papeterie comme des stylos et des blocs-notes. 8. Un projecteur pour faire des présentations. 9. Un tableau blanc pour brainstormer des idées. 10. Un fax pour envoyer des documents rapidement. 11. Des classeurs pour organiser les papiers. 12. Un téléphone pour la communication interne et externe. 13. Une imprimante pour produire des copies physiques de documents. 14. Un agenda pour planifier des réunions et des tâches. 15. Des câbles et accessoires pour connecter les appareils électroniques.
  'Services Juridiques' a payé 12 000 dirhams pour des conseils juridiques avant l'achat d'un local commercial, ajoutant ce montant aux frais d'acquisition qui s'élèvent à 1,2 million de dirhams au total dans les comptes.	Les frais d'acquisition des immobilisations sont les coûts liés à l'achat d'actifs durables, comme les bâtiments, les machines ou les véhicules, incluant les frais de notaire, les commissions et autres dépenses nécessaires pour finaliser l'achat. 1. Les frais de notaire lors de l'achat d'un bâtiment commercial. 2. Les commissions versées à un agent immobilier pour l'achat d'un terrain. 3. Les honoraires d'un expert pour évaluer une machine avant son achat. 4. Les frais de transport pour livrer un équipement industriel. 5. Les frais d'inscription au registre foncier après l'achat d'un bien immobilier. 6. Les coûts de réparation nécessaires avant de mettre en service un nouvel équipement. 7. Les frais de courtage pour l'acquisition d'actions d'une société. 8. Les taxes de transfert de propriété lors de l'achat d'un véhicule. 9. Les frais de consultation pour des conseils juridiques sur un achat immobilier. 10. Les coûts d'audit pour vérifier la conformité des actifs avant l'acquisition....	Les rabais, remises et ristournes sont des réductions accordées lors de l'achat de biens ou de services. Ils permettent d'obtenir un prix plus bas sur les produits achetés. 1. Un magasin offre une remise de 20% sur un lot de peinture acheté pour des travaux de rénovation. 2. Lors d'une vente promotionnelle, un client reçoit un rabais de 15€ sur un meuble en bois. 3. Un fournisseur de matières premières accorde une ristourne de 5% sur les achats dépassant 1000€. 4. Un restaurant propose un rabais de 10% sur les commandes à emporter pendant le mois de janvier. 5. Une entreprise de vêtements offre une remise de 30% sur les articles de saison. 6. Lors d'un salon professionnel, un exposant propose une ristourne de 10% aux entreprises qui commandent plusieurs produits. 7. Un grossiste accorde une remise de 50€ sur l'achat de 1000€ de produits alimentaires. 8. Un client régulier reçoit un rabais de fidélité de 15% sur ses prochaines commandes. 9. Une librairie offre une risto...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	all-nli-test_cosine_accuracy
1.375	100	0.5114	0.2881	-
2.75	200	0.0156	0.2060	-
2.9722	216	-	-	1.0

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu121
• Accelerate: 1.1.1
• Datasets: 3.2.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}