Created
October 29, 2025 00:01
-
-
Save rjurney/7cc901c3ae988d78f5d9ba3f21176a4a to your computer and use it in GitHub Desktop.
Latest Eridu performance metrics
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| Using device: mps | |
| Loading model from: data/fine-tuned-sbert-intfloat-multilingual-e5-base-original-adafactor-companies/ | |
| Successfully loaded model from data/fine-tuned-sbert-intfloat-multilingual-e5-base-original-adafactor-companies/ | |
| Loading test data from: data/fine-tuned-sbert-intfloat-multilingual-e5-base-original-adafactor-companies/test_split.parquet | |
| Sampling 1,000 test pairs from 168,280 available | |
| Running inference on 1,000 test pairs | |
| Found optimal threshold: 0.6907 | |
| Running inference on 1,000 test pairs | |
| Model Evaluation Report | |
| ======================================== | |
| Model: data/fine-tuned-sbert-intfloat-multilingual-e5-base-original-adafactor-companies/ | |
| Test data: 1,000 pairs | |
| Classification threshold: 0.6907 | |
| Performance Metrics: | |
| Accuracy: 0.9260 | |
| Precision: 0.8972 | |
| Recall: 0.9275 | |
| F1 Score: 0.9121 | |
| AUC-ROC: 0.9694 | |
| Confusion Matrix: | |
| True Positives: 384 | |
| False Positives: 44 | |
| True Negatives: 542 | |
| False Negatives: 30 | |
| ================================================================================ | |
| CLASSIFICATION EXAMPLES | |
| ================================================================================ | |
| 🟢 TRUE POSITIVES (384 total, showing up to 10): | |
| Correctly identified as matches | |
| Left Name Right Name Score | |
| Товариство з обмеженою відповідальністю «Авуар» Товариство з обмеженою відповідальністю "Авуар" 0.9997 | |
| МИНИСТЕРСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ ПО ДЕЛАМ ГРАЖ... МИНИСТЕРСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ ПО ДЕЛАМ ГРАЖ... 0.9997 | |
| ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО ЭНЕРГЕТИКИ И ЭЛЕК... ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО ЭНЕРГЕТИКИ И ЭЛЕК... 0.9996 | |
| Державна бюджетна установа «Республіки Крим» «І... Державна бюджетна установа "Республіки Крим" "І... 0.9993 | |
| МИНИСТЕРСТВО РССИЙСКОЙ ФЕДЕРАЦИИ ПО ДЕЛАМ ГРАЖД... МИНИСТЕРСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ ПО ДЕЛАМ ГРАЖ... 0.9992 | |
| ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ КАЗЕННОЕ УЧРЕЖДЕНИЕ... ГОСУДАРСТВЕННОЕ УЧРЕЖДЕНИЕ "11 ОТРЯД ФЕДЕРАЛЬНО... 0.9989 | |
| УПРАВЛЕНИЕ ДЕЛАМИ ГЛАВЫ РЕСПУБЛИКИ САХА (ЯКУТИЯ... УПРАВЛЕНИЕ ДЕЛАМИ ГЛАВЫ РЕСПУБЛИКИ САХА (ЯКУТИЯ... 0.9984 | |
| ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "ИРКУТСКИЙ РЕЛЕЙН... АКЦИОНЕРНОЕ ОБЩЕСТВО "ИРКУТСКИЙ РЕЛЕЙНЫЙ ЗАВОД" 0.9983 | |
| ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ТЕХНО... ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ТЕХНО... 0.9981 | |
| общественное движение «Русский выбор» Громадський рух «Русский выбор» 0.9981 | |
| 🔴 FALSE POSITIVES (44 total, showing up to 10): | |
| Incorrectly identified as matches | |
| Left Name Right Name Score | |
| Myanmar Economic Holdings Limited Myanmar Economic Corporation Limited 0.9913 | |
| Общество с ограниченной ответственностью "ЮМани" ООО НКО "ЮМани" 0.9858 | |
| JOINT STOCK COMPANY MECHEL MAINING Общество С Ограниченной Ответственностью Управл... 0.9712 | |
| RESEARCH DESIGN BYURO “NOVATOR” Joint-Stock Company "Novator" 0.9570 | |
| Movement of the First Volunteers of Victory; (volontaires de la victo... 0.9528 | |
| Акционерное общество "Стрела" Акціонерне товариство "Виробниче об’єднання "Ст... 0.9451 | |
| Общество С Ограниченной Ответственностью Индуст... Limited Liability Company "Stankomash" 0.9430 | |
| Публічне акціонерне товариство "Ракетно-космічн... ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "ЭНЕРГИЯ" 0.9297 | |
| Публичное акционерное общество "Камаз" АКЦИОНЕРНОЕ ОБЩЕСТВО "ЛИЗИНГОВАЯ КОМПАНИЯ "КАМАЗ" 0.9272 | |
| Ислямска армия за освобождение на светите места Победният фронт 0.8919 | |
| 🟢 TRUE NEGATIVES (542 total, showing up to 10): | |
| Correctly identified as non-matches | |
| Left Name Right Name Score | |
| AO NII Vektor JSC RPE Almaz 0.1002 | |
| Революционна левица POPULAR FRONT FOR THE LIBERATION OF PALESTINE -... 0.1194 | |
| Letalske sile Islamske revolucionarne garde Islamic Revolutionary Guard Corps Research and ... 0.1330 | |
| ヘソン・トレーディング・カンパニー Amroggang Development Bank 0.1626 | |
| ПАТ «Сбербанк Россії» Tupolev AO 0.1777 | |
| Marynarka Korpusu Strażników Rewolucji Islamski... Džihádistická organizácia pre výskum a sebestač... 0.1820 | |
| MIKRON JSC AK Transneft OAO 0.1821 | |
| Revolutionary Peoples' Liberation Party - Front... Fronta Pobail i gcomhair Shaoirse na Palaistíne... 0.1862 | |
| ISIL's South Asia Branch ISIL-YEMEN 0.1887 | |
| HAJI ABDUL BASIR EXCHANGE SHOP Menjalnica Haji Khairullah Haji Sattar 0.1890 | |
| 🔴 FALSE NEGATIVES (30 total, showing up to 10): | |
| Incorrectly identified as non-matches | |
| Left Name Right Name Score | |
| unità 74455 Główny Ośrodek Specjalnych Technologii (GTsST) ... 0.6810 | |
| Tovarystvo z obmezhenoiu vidpovidalnistiu "Druk... TIPOGRAFIYA IRKUT 0.6754 | |
| General Bureau of Atomic Energy GDAE 0.6726 | |
| Aviakompaniya AirBridgeCargo OOO AK Eirbridzhkargo 0.6654 | |
| The Abdullah Azzam Brigades Marwan Hadid Brigades 0.6642 | |
| シリア軍事情報部 Military Intelligence Directorate 0.6570 | |
| ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "РБ СП... SD Partner OOO 0.6461 | |
| تنظيم القاعدة في العراق Grupa „Monoteizm i Jihad” 0.6415 | |
| ДАЛЕНА Joint-stock company "Bank DALENA"; JSC "Bank DA... 0.6412 | |
| forces d’opérations spéciales Erikoisjoukot 0.6396 | |
| ================================================================================ | |
| EVALUATION SUMMARY | |
| ================================================================================ | |
| Model: data/fine-tuned-sbert-intfloat-multilingual-e5-base-original-adafactor-companies/ | |
| Test data: 1,000 pairs | |
| Classification threshold: 0.6907 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment