Skip to content

Instantly share code, notes, and snippets.

@malibayram

malibayram/ollama_to_evaluate_models.ipynb

Last active June 30, 2024 20:52
Show Gist options
  • Save malibayram/d8f028db9248382a6319faf7d69c57ae to your computer and use it in GitHub Desktop.
Save malibayram/d8f028db9248382a6319faf7d69c57ae to your computer and use it in GitHub Desktop.
Download ZIP
Yapay Zeka ile Cevap Üretimi ve Model Eğitim Süreçleri | Python ve Ollama Kütüphanesi
Display the source blob
Display the rendered blob
Raw
ollama_to_evaluate_models.ipynb
{
"cells": [
{
"cell_type": "code",
"execution_count": 1,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Defaulting to user installation because normal site-packages is not writeable\n",
"Requirement already satisfied: ollama in /Users/mab/Library/Python/3.9/lib/python/site-packages (0.2.1)\n",
"Requirement already satisfied: httpx<0.28.0,>=0.27.0 in /Users/mab/Library/Python/3.9/lib/python/site-packages (from ollama) (0.27.0)\n",
"Requirement already satisfied: anyio in /Users/mab/Library/Python/3.9/lib/python/site-packages (from httpx<0.28.0,>=0.27.0->ollama) (4.3.0)\n",
"Requirement already satisfied: certifi in /Users/mab/Library/Python/3.9/lib/python/site-packages (from httpx<0.28.0,>=0.27.0->ollama) (2023.11.17)\n",
"Requirement already satisfied: httpcore==1.* in /Users/mab/Library/Python/3.9/lib/python/site-packages (from httpx<0.28.0,>=0.27.0->ollama) (1.0.5)\n",
"Requirement already satisfied: idna in /Users/mab/Library/Python/3.9/lib/python/site-packages (from httpx<0.28.0,>=0.27.0->ollama) (3.7)\n",
"Requirement already satisfied: sniffio in /Users/mab/Library/Python/3.9/lib/python/site-packages (from httpx<0.28.0,>=0.27.0->ollama) (1.3.1)\n",
"Requirement already satisfied: h11<0.15,>=0.13 in /Users/mab/Library/Python/3.9/lib/python/site-packages (from httpcore==1.*->httpx<0.28.0,>=0.27.0->ollama) (0.14.0)\n",
"Requirement already satisfied: exceptiongroup>=1.0.2 in /Users/mab/Library/Python/3.9/lib/python/site-packages (from anyio->httpx<0.28.0,>=0.27.0->ollama) (1.2.0)\n",
"Requirement already satisfied: typing-extensions>=4.1 in /Users/mab/Library/Python/3.9/lib/python/site-packages (from anyio->httpx<0.28.0,>=0.27.0->ollama) (4.10.0)\n",
"Note: you may need to restart the kernel to use updated packages.\n"
]
}
],
"source": [
"%pip install ollama"
]
},
{
"cell_type": "code",
"execution_count": 1,
"metadata": {},
"outputs": [],
"source": [
"import ollama as ol\n",
"from datasets import load_dataset\n",
"import pandas as pd\n"
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"alibayram/doktorgema2:latest\n",
"gemma2:latest\n",
"erdiari/llama3-turkish:latest\n",
"gemma:latest\n",
"alibayram/doktor-llama-3-8b:latest\n",
"Doktor-Llama-8b:latest\n",
"Doktor-Llama-3-8b:latest\n",
"llama3:latest\n"
]
}
],
"source": [
"models = ol.list()\n",
"for model in models['models']:\n",
" print(model['name'])"
]
},
{
"cell_type": "code",
"execution_count": 8,
"metadata": {},
"outputs": [],
"source": [
"gen_ans = ol.generate(\"gemma2\", prompt=\"Nasılsın?\")\n"
]
},
{
"cell_type": "code",
"execution_count": 9,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Bir dil modeli olarak duygularım yok, ama iyiyim! Sana nasıl yardımcı olabilirim? 😊'"
]
},
"execution_count": 9,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"gen_ans['response']"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Token is valid (permission: write).\n",
"Your token has been saved in your configured git credential helpers (osxkeychain).\n",
"Your token has been saved to /Users/mab/.cache/huggingface/token\n",
"Login successful\n"
]
}
],
"source": [
"!huggingface-cli login --token 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 --add-to-git-credential"
]
},
{
"cell_type": "code",
"execution_count": 10,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"DatasetDict({\n",
" train: Dataset({\n",
" features: ['doctor_title', 'doctor_speciality', 'question_content', 'question_answer'],\n",
" num_rows: 187632\n",
" })\n",
"})"
]
},
"execution_count": 10,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"doktorsitesi = load_dataset(\"alibayram/doktorsitesi\")\n",
"doktorsitesi"
]
},
{
"cell_type": "code",
"execution_count": 12,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Merhaba, Yaklaşık 4 aydır sağ omuzumda kolumu geriye doğru attığımda ağrı hissediyorum. işim gereği ağır paketleri hareket ettiriyorum. Muayane olmak için gittiğimde röntgen çekildi ancak yeterli olmadığı için MR istendi. Geçen hafta çektirdim. Normal olan satırların dışında aşağıdaki satırı ekliyorum. \"Supraspinatus tendonunda hafif dereceli tendinozis ile uyumlu olabilecek sinyal intensitesinde minimal heterojenite izlenmektedir. Klinik eşliğinde değerlendirilmesi önerilir.\" Acaba fizik tedavi veya ilaçla tedavi edilebilecek bir durummudur? Saygılar.'"
]
},
"execution_count": 12,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"examples = doktorsitesi['train'].select(range(500))\n",
"examples[0]['question_content']"
]
},
{
"cell_type": "code",
"execution_count": 13,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"<div>\n",
"<style scoped>\n",
" .dataframe tbody tr th:only-of-type {\n",
" vertical-align: middle;\n",
" }\n",
"\n",
" .dataframe tbody tr th {\n",
" vertical-align: top;\n",
" }\n",
"\n",
" .dataframe thead th {\n",
" text-align: right;\n",
" }\n",
"</style>\n",
"<table border=\"1\" class=\"dataframe\">\n",
" <thead>\n",
" <tr style=\"text-align: right;\">\n",
" <th></th>\n",
" <th>doctor_title</th>\n",
" <th>doctor_speciality</th>\n",
" <th>question_content</th>\n",
" <th>question_answer</th>\n",
" </tr>\n",
" </thead>\n",
" <tbody>\n",
" <tr>\n",
" <th>0</th>\n",
" <td>Dr. Öğr. Üyesi</td>\n",
" <td>ortopedi-ve-travmatoloji</td>\n",
" <td>Merhaba, Yaklaşık 4 aydır sağ omuzumda kolumu ...</td>\n",
" <td>Merhabalar geçmiş olsun mr raporuna göre omzum...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>1</th>\n",
" <td>Uzm. Dr.</td>\n",
" <td>dermatoloji</td>\n",
" <td>Vücudumun farklı bölgelerinde küçük sivrisinek...</td>\n",
" <td>Merhaba, Eğer yaralar kaşıntıyla beraber oluyo...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>2</th>\n",
" <td>Op. Dr.</td>\n",
" <td>ortopedi-ve-travmatoloji-el-cerrahisi-ve-mikro...</td>\n",
" <td>Hocam merhaba 29 yaşında erkek hasta hareketle...</td>\n",
" <td>Şikayetinizin daha iyi anlaşılabilmesi için mu...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>3</th>\n",
" <td>Op. Dr.</td>\n",
" <td>genel-cerrahi-proktoloji</td>\n",
" <td>Meraba hocam sorum şu , bir erkek bayıltılıp a...</td>\n",
" <td>Bir kimseye tecavüz edilmişse anal mukozada ir...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>4</th>\n",
" <td>Op. Dr.</td>\n",
" <td>kadin-hastaliklari-ve-dogum-jinekolojik-onkoloji</td>\n",
" <td>Merhaba doktor hanim ben 3 yildir evliyim. Hic...</td>\n",
" <td>Merhaba tiroıd bezinin düzenli çalışmaması geb...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>...</th>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>495</th>\n",
" <td>Prof. Dr.</td>\n",
" <td>tibbi-farmakoloji</td>\n",
" <td>merhaba hocam SSRI sınıfı antidepresan (cipral...</td>\n",
" <td>Sayın Ata Bey: Eğer ileri yaşta değilseniz, ka...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>496</th>\n",
" <td>Prof. Dr.</td>\n",
" <td>ortopedi-ve-travmatoloji</td>\n",
" <td>DOKTOR BEY MERHABA.ANNEMİN SOL DİZİNDE AŞIRI A...</td>\n",
" <td>Eğer aşınma ilerlemiş ise ve yaşı da 60 ve üze...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>497</th>\n",
" <td>Prof. Dr.</td>\n",
" <td>kulak-burun-bogaz-hastaliklari</td>\n",
" <td>merhabalar hocam 4 gündür boğazımda sanki birş...</td>\n",
" <td>yemek borusunda takılma için yutma fonksiyonla...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>498</th>\n",
" <td>Prof. Dr.</td>\n",
" <td>genel-cerrahi</td>\n",
" <td>Eşim bugün kolonoskopi çektirdi,verilen rapord...</td>\n",
" <td>Sayin Isik Esinize hangi sikayetleri nedeniyle...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>499</th>\n",
" <td>Uzm. Dr.</td>\n",
" <td>dermatoloji</td>\n",
" <td>Ön şakak bölgesinde açılmalar var sarı tüyler ...</td>\n",
" <td>Merhaba. Muhtemelen erkek tipi saç dökülmeniz ...</td>\n",
" </tr>\n",
" </tbody>\n",
"</table>\n",
"<p>500 rows × 4 columns</p>\n",
"</div>"
],
"text/plain": [
" doctor_title doctor_speciality \\\n",
"0 Dr. Öğr. Üyesi ortopedi-ve-travmatoloji \n",
"1 Uzm. Dr. dermatoloji \n",
"2 Op. Dr. ortopedi-ve-travmatoloji-el-cerrahisi-ve-mikro... \n",
"3 Op. Dr. genel-cerrahi-proktoloji \n",
"4 Op. Dr. kadin-hastaliklari-ve-dogum-jinekolojik-onkoloji \n",
".. ... ... \n",
"495 Prof. Dr. tibbi-farmakoloji \n",
"496 Prof. Dr. ortopedi-ve-travmatoloji \n",
"497 Prof. Dr. kulak-burun-bogaz-hastaliklari \n",
"498 Prof. Dr. genel-cerrahi \n",
"499 Uzm. Dr. dermatoloji \n",
"\n",
" question_content \\\n",
"0 Merhaba, Yaklaşık 4 aydır sağ omuzumda kolumu ... \n",
"1 Vücudumun farklı bölgelerinde küçük sivrisinek... \n",
"2 Hocam merhaba 29 yaşında erkek hasta hareketle... \n",
"3 Meraba hocam sorum şu , bir erkek bayıltılıp a... \n",
"4 Merhaba doktor hanim ben 3 yildir evliyim. Hic... \n",
".. ... \n",
"495 merhaba hocam SSRI sınıfı antidepresan (cipral... \n",
"496 DOKTOR BEY MERHABA.ANNEMİN SOL DİZİNDE AŞIRI A... \n",
"497 merhabalar hocam 4 gündür boğazımda sanki birş... \n",
"498 Eşim bugün kolonoskopi çektirdi,verilen rapord... \n",
"499 Ön şakak bölgesinde açılmalar var sarı tüyler ... \n",
"\n",
" question_answer \n",
"0 Merhabalar geçmiş olsun mr raporuna göre omzum... \n",
"1 Merhaba, Eğer yaralar kaşıntıyla beraber oluyo... \n",
"2 Şikayetinizin daha iyi anlaşılabilmesi için mu... \n",
"3 Bir kimseye tecavüz edilmişse anal mukozada ir... \n",
"4 Merhaba tiroıd bezinin düzenli çalışmaması geb... \n",
".. ... \n",
"495 Sayın Ata Bey: Eğer ileri yaşta değilseniz, ka... \n",
"496 Eğer aşınma ilerlemiş ise ve yaşı da 60 ve üze... \n",
"497 yemek borusunda takılma için yutma fonksiyonla... \n",
"498 Sayin Isik Esinize hangi sikayetleri nedeniyle... \n",
"499 Merhaba. Muhtemelen erkek tipi saç dökülmeniz ... \n",
"\n",
"[500 rows x 4 columns]"
]
},
"execution_count": 13,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"examples_df = pd.DataFrame(examples)\n",
"examples_df"
]
},
{
"cell_type": "code",
"execution_count": 14,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Aslı Hanım, merhaba. Bende durduk yere, bazı pozisyonlardayken kollarımda ellerimde bacaklarımda titreme oluyor. Bazen kendimi başka pozisyona alınca geçiyor. Ama heyecanlanıp sinirlenince zangır zangır başlıyor ve saatlerce sakinlemiyor. Bunun tedavisi yok sanıyorum ki ama en azından bunu baskilayacak bir sey yok mu? Disaridan bakinca problemli biri gibi gozukmekten sikildim.'"
]
},
"execution_count": 14,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"examples_df.loc[211]['question_content']"
]
},
{
"cell_type": "code",
"execution_count": 15,
"metadata": {},
"outputs": [],
"source": [
"gen_ans = ol.generate(\"Doktor-Llama-3-8b\", prompt=examples_df.loc[211]['question_content'])\n"
]
},
{
"cell_type": "code",
"execution_count": 16,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Merhaba, Titreme durumlarında genellikle nörolojik hastalıklarda görülen bir belirti değildir. Öncelikle stres ve sinir durumunun titremeye neden olabileceğini düşünüyorum. Titreme anksiyete bozukluğunda sık görülür. Bu durumda ilaç tedavisi ile düzelme sağlanabilir. Psikiyatrınıza başvurmanız ve yardım almanız en doğru olanıdır. Geçmiş olsun. İyi günler dilerim.'"
]
},
"execution_count": 16,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"gen_ans['response']"
]
},
{
"cell_type": "code",
"execution_count": 17,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Soruyu göndereli çok olmuş ancak yeni farkettim. Yakınmalarınız devam ediyorsa nörolojik olabileceğini düşünüyorum. Karar vermek için mutlaka ayrıntılı dinlemek ve muayene etmek gerek. Takiben B12 başta olmak üzere kan tetkiklerinizi görmek gerekecektir. Dilerseniz değerlendirebilirim. Randevu için yardımcı olacaklardır. Sağlıklı günler dilerim.'"
]
},
"execution_count": 17,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"examples_df.loc[211]['question_answer']"
]
},
{
"cell_type": "code",
"execution_count": 18,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"<div>\n",
"<style scoped>\n",
" .dataframe tbody tr th:only-of-type {\n",
" vertical-align: middle;\n",
" }\n",
"\n",
" .dataframe tbody tr th {\n",
" vertical-align: top;\n",
" }\n",
"\n",
" .dataframe thead th {\n",
" text-align: right;\n",
" }\n",
"</style>\n",
"<table border=\"1\" class=\"dataframe\">\n",
" <thead>\n",
" <tr style=\"text-align: right;\">\n",
" <th></th>\n",
" <th>question_content</th>\n",
" <th>generated_answer</th>\n",
" <th>original_answer</th>\n",
" </tr>\n",
" </thead>\n",
" <tbody>\n",
" <tr>\n",
" <th>0</th>\n",
" <td>Merhabalar Benim sol alt karın boslugumda elim...</td>\n",
" <td>Merhaba öncelikle geçmiş olsun. ultrason sonuc...</td>\n",
" <td>Burda yazan sonuçlara göre önemli bir hastalık...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>1</th>\n",
" <td>Merhaba Hocam.. 26 yaşındaki kardeşim 15 gün ö...</td>\n",
" <td>Merhaba, öncelikle geçmiş olsun. Bu tür yarala...</td>\n",
" <td>Bu konudaki en sağlıklı cevabı, nöroloji uzman...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>2</th>\n",
" <td>merhabalar! 15 yaşımda primer amenore teşhisiy...</td>\n",
" <td>Merhaba, öncelikle muayene olmadan net bir şey...</td>\n",
" <td>Adetin 3. günü hormon tahlili ve ultrason ile ...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>3</th>\n",
" <td>sayın doktor bey annem dün akşam sag tarafında...</td>\n",
" <td>Sayın Sevinç Hanım, Annenizin ağrısının kalple...</td>\n",
" <td>Tabii bazı kalp rahatsızlıkları karın ağrısı d...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>4</th>\n",
" <td>merhaba hocam benim kalçamda eğiklik var belde...</td>\n",
" <td>Merhabalar; Size bir ortopedi uzmanına muayene...</td>\n",
" <td>Büyük ihtimalle uygun egzersiz programları siz...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>...</th>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>495</th>\n",
" <td>hocam merhaba 7 haftalık hamileyim.bende sebor...</td>\n",
" <td>Merhaba, Bu ilacın bebekte herhangi bir yan et...</td>\n",
" <td>Sayın Burcu Hanım: Bu madde antifungal yani ma...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>496</th>\n",
" <td>iyi günler doktor bey... bizim 8 yaşında bir k...</td>\n",
" <td>Merhabalar; Öncelikle Geçmiş olsun; Eşinizin s...</td>\n",
" <td>NORMAL SINIRLARDA UROLOJI UZMANINA MUAYENE OLU...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>497</th>\n",
" <td>Merhaba.Benim 3 aylık bir oğlum var.Sadece ann...</td>\n",
" <td>Merhaba, meme ucunda şişlik ve kızarıklık meme...</td>\n",
" <td>puerperal mastit denen memede enfeksiyon başla...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>498</th>\n",
" <td>avni bey,benim şikayetim 3 aydır sol kulak mem...</td>\n",
" <td>Merhaba, Kulak arkasındaki ağrı sebebiyle KBB ...</td>\n",
" <td>Zerrin hanım, madem Ankarada bulunuyorsunuz lü...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>499</th>\n",
" <td>Hocam merhaba adet dönemindeyim çok şiddetli a...</td>\n",
" <td>Merhaba, adet kanamasını kesen ilaçların hepsi...</td>\n",
" <td>Merhaba ağrı kesici kullanabilirsiniz. Ağrı ke...</td>\n",
" </tr>\n",
" </tbody>\n",
"</table>\n",
"<p>500 rows × 3 columns</p>\n",
"</div>"
],
"text/plain": [
" question_content \\\n",
"0 Merhabalar Benim sol alt karın boslugumda elim... \n",
"1 Merhaba Hocam.. 26 yaşındaki kardeşim 15 gün ö... \n",
"2 merhabalar! 15 yaşımda primer amenore teşhisiy... \n",
"3 sayın doktor bey annem dün akşam sag tarafında... \n",
"4 merhaba hocam benim kalçamda eğiklik var belde... \n",
".. ... \n",
"495 hocam merhaba 7 haftalık hamileyim.bende sebor... \n",
"496 iyi günler doktor bey... bizim 8 yaşında bir k... \n",
"497 Merhaba.Benim 3 aylık bir oğlum var.Sadece ann... \n",
"498 avni bey,benim şikayetim 3 aydır sol kulak mem... \n",
"499 Hocam merhaba adet dönemindeyim çok şiddetli a... \n",
"\n",
" generated_answer \\\n",
"0 Merhaba öncelikle geçmiş olsun. ultrason sonuc... \n",
"1 Merhaba, öncelikle geçmiş olsun. Bu tür yarala... \n",
"2 Merhaba, öncelikle muayene olmadan net bir şey... \n",
"3 Sayın Sevinç Hanım, Annenizin ağrısının kalple... \n",
"4 Merhabalar; Size bir ortopedi uzmanına muayene... \n",
".. ... \n",
"495 Merhaba, Bu ilacın bebekte herhangi bir yan et... \n",
"496 Merhabalar; Öncelikle Geçmiş olsun; Eşinizin s... \n",
"497 Merhaba, meme ucunda şişlik ve kızarıklık meme... \n",
"498 Merhaba, Kulak arkasındaki ağrı sebebiyle KBB ... \n",
"499 Merhaba, adet kanamasını kesen ilaçların hepsi... \n",
"\n",
" original_answer \n",
"0 Burda yazan sonuçlara göre önemli bir hastalık... \n",
"1 Bu konudaki en sağlıklı cevabı, nöroloji uzman... \n",
"2 Adetin 3. günü hormon tahlili ve ultrason ile ... \n",
"3 Tabii bazı kalp rahatsızlıkları karın ağrısı d... \n",
"4 Büyük ihtimalle uygun egzersiz programları siz... \n",
".. ... \n",
"495 Sayın Burcu Hanım: Bu madde antifungal yani ma... \n",
"496 NORMAL SINIRLARDA UROLOJI UZMANINA MUAYENE OLU... \n",
"497 puerperal mastit denen memede enfeksiyon başla... \n",
"498 Zerrin hanım, madem Ankarada bulunuyorsunuz lü... \n",
"499 Merhaba ağrı kesici kullanabilirsiniz. Ağrı ke... \n",
"\n",
"[500 rows x 3 columns]"
]
},
"execution_count": 18,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"generated_answers_df = pd.read_csv('generated_answers.csv')\n",
"generated_answers_df"
]
},
{
"cell_type": "code",
"execution_count": 19,
"metadata": {},
"outputs": [],
"source": [
"generated_answers = []\n",
"\n",
"for i in range(len(generated_answers_df)):\n",
" generated_answers.append({\n",
" 'question_content': generated_answers_df.loc[i]['question_content'],\n",
" 'generated_answer': generated_answers_df.loc[i]['generated_answer'],\n",
" 'original_answer': generated_answers_df.loc[i]['original_answer']\n",
" })"
]
},
{
"cell_type": "code",
"execution_count": 21,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"500"
]
},
"execution_count": 21,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"len(generated_answers)"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"import time\n",
"%time\n",
"# start with generated answers length index \n",
"start_index = len(generated_answers)\n",
"\n",
"for i in range(start_index, len(examples)):\n",
" # prompt\n",
" start_time = time.time()\n",
" question_content = examples[i]['question_content']\n",
" generated_answer = ol.generate(model=\"Doktor-Llama-3-8b\", prompt=question_content)\n",
" generated_answers.append({\n",
" \"question_content\": question_content,\n",
" \"generated_answer\": generated_answer['response'],\n",
" \"original_answer\": examples[i]['question_answer'],\n",
" })\n",
" finish_time = time.time() - start_time\n",
" now = time.time()\n",
" now_str = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(now))\n",
" print(f\"{i}.\\tGenerated answer in {round(finish_time, 2)} seconds at {now_str} for {question_content}\")\n",
" if (i + 1) % 50 == 0:\n",
" generated_answers_df = pd.DataFrame(generated_answers)\n",
" generated_answers_df.to_csv(\"generated_answers.csv\", index=False)\n",
" print(\"Saved generated answers to generated_answers.csv\")\n"
]
},
{
"cell_type": "code",
"execution_count": 24,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"<div>\n",
"<style scoped>\n",
" .dataframe tbody tr th:only-of-type {\n",
" vertical-align: middle;\n",
" }\n",
"\n",
" .dataframe tbody tr th {\n",
" vertical-align: top;\n",
" }\n",
"\n",
" .dataframe thead th {\n",
" text-align: right;\n",
" }\n",
"</style>\n",
"<table border=\"1\" class=\"dataframe\">\n",
" <thead>\n",
" <tr style=\"text-align: right;\">\n",
" <th></th>\n",
" <th>question_content</th>\n",
" <th>generated_answer</th>\n",
" <th>original_answer</th>\n",
" <th>answer_llama3_8b</th>\n",
" </tr>\n",
" </thead>\n",
" <tbody>\n",
" <tr>\n",
" <th>0</th>\n",
" <td>Merhabalar Benim sol alt karın boslugumda elim...</td>\n",
" <td>Merhaba öncelikle geçmiş olsun. ultrason sonuc...</td>\n",
" <td>Burda yazan sonuçlara göre önemli bir hastalık...</td>\n",
" <td>Merhabalar!\\n\\nI'd be happy to help you interp...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>1</th>\n",
" <td>Merhaba Hocam.. 26 yaşındaki kardeşim 15 gün ö...</td>\n",
" <td>Merhaba, öncelikle geçmiş olsun. Bu tür yarala...</td>\n",
" <td>Bu konudaki en sağlıklı cevabı, nöroloji uzman...</td>\n",
" <td>Merhaba, sevgili kardeşim!\\n\\nİyi haberliyim, ...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>2</th>\n",
" <td>merhabalar! 15 yaşımda primer amenore teşhisiy...</td>\n",
" <td>Merhaba, öncelikle muayene olmadan net bir şey...</td>\n",
" <td>Adetin 3. günü hormon tahlili ve ultrason ile ...</td>\n",
" <td>Merhabalar!\\n\\nFirst of all, congratulations o...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>3</th>\n",
" <td>sayın doktor bey annem dün akşam sag tarafında...</td>\n",
" <td>Sayın Sevinç Hanım, Annenizin ağrısının kalple...</td>\n",
" <td>Tabii bazı kalp rahatsızlıkları karın ağrısı d...</td>\n",
" <td>I'm not a doctor, but I can try to help you un...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>4</th>\n",
" <td>merhaba hocam benim kalçamda eğiklik var belde...</td>\n",
" <td>Merhabalar; Size bir ortopedi uzmanına muayene...</td>\n",
" <td>Büyük ihtimalle uygun egzersiz programları siz...</td>\n",
" <td>Merhaba! Kalça eğriliği ve belde çukurluk çok ...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>...</th>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" <td>...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>495</th>\n",
" <td>hocam merhaba 7 haftalık hamileyim.bende sebor...</td>\n",
" <td>Merhaba, Bu ilacın bebekte herhangi bir yan et...</td>\n",
" <td>Sayın Burcu Hanım: Bu madde antifungal yani ma...</td>\n",
" <td>Merhaba hocam, gebeliğinizi 7 haftalık olarak ...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>496</th>\n",
" <td>iyi günler doktor bey... bizim 8 yaşında bir k...</td>\n",
" <td>Merhabalar; Öncelikle Geçmiş olsun; Eşinizin s...</td>\n",
" <td>NORMAL SINIRLARDA UROLOJI UZMANINA MUAYENE OLU...</td>\n",
" <td>Iyi günler, doktorunuz olarak, sizin soruların...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>497</th>\n",
" <td>Merhaba.Benim 3 aylık bir oğlum var.Sadece ann...</td>\n",
" <td>Merhaba, meme ucunda şişlik ve kızarıklık meme...</td>\n",
" <td>puerperal mastit denen memede enfeksiyon başla...</td>\n",
" <td>Merhaba! Congratulations on breastfeeding your...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>498</th>\n",
" <td>avni bey,benim şikayetim 3 aydır sol kulak mem...</td>\n",
" <td>Merhaba, Kulak arkasındaki ağrı sebebiyle KBB ...</td>\n",
" <td>Zerrin hanım, madem Ankarada bulunuyorsunuz lü...</td>\n",
" <td>It seems like you're experiencing a persistent...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>499</th>\n",
" <td>Hocam merhaba adet dönemindeyim çok şiddetli a...</td>\n",
" <td>Merhaba, adet kanamasını kesen ilaçların hepsi...</td>\n",
" <td>Merhaba ağrı kesici kullanabilirsiniz. Ağrı ke...</td>\n",
" <td>Merhaba! First, please don't worry, it's norma...</td>\n",
" </tr>\n",
" </tbody>\n",
"</table>\n",
"<p>500 rows × 4 columns</p>\n",
"</div>"
],
"text/plain": [
" question_content \\\n",
"0 Merhabalar Benim sol alt karın boslugumda elim... \n",
"1 Merhaba Hocam.. 26 yaşındaki kardeşim 15 gün ö... \n",
"2 merhabalar! 15 yaşımda primer amenore teşhisiy... \n",
"3 sayın doktor bey annem dün akşam sag tarafında... \n",
"4 merhaba hocam benim kalçamda eğiklik var belde... \n",
".. ... \n",
"495 hocam merhaba 7 haftalık hamileyim.bende sebor... \n",
"496 iyi günler doktor bey... bizim 8 yaşında bir k... \n",
"497 Merhaba.Benim 3 aylık bir oğlum var.Sadece ann... \n",
"498 avni bey,benim şikayetim 3 aydır sol kulak mem... \n",
"499 Hocam merhaba adet dönemindeyim çok şiddetli a... \n",
"\n",
" generated_answer \\\n",
"0 Merhaba öncelikle geçmiş olsun. ultrason sonuc... \n",
"1 Merhaba, öncelikle geçmiş olsun. Bu tür yarala... \n",
"2 Merhaba, öncelikle muayene olmadan net bir şey... \n",
"3 Sayın Sevinç Hanım, Annenizin ağrısının kalple... \n",
"4 Merhabalar; Size bir ortopedi uzmanına muayene... \n",
".. ... \n",
"495 Merhaba, Bu ilacın bebekte herhangi bir yan et... \n",
"496 Merhabalar; Öncelikle Geçmiş olsun; Eşinizin s... \n",
"497 Merhaba, meme ucunda şişlik ve kızarıklık meme... \n",
"498 Merhaba, Kulak arkasındaki ağrı sebebiyle KBB ... \n",
"499 Merhaba, adet kanamasını kesen ilaçların hepsi... \n",
"\n",
" original_answer \\\n",
"0 Burda yazan sonuçlara göre önemli bir hastalık... \n",
"1 Bu konudaki en sağlıklı cevabı, nöroloji uzman... \n",
"2 Adetin 3. günü hormon tahlili ve ultrason ile ... \n",
"3 Tabii bazı kalp rahatsızlıkları karın ağrısı d... \n",
"4 Büyük ihtimalle uygun egzersiz programları siz... \n",
".. ... \n",
"495 Sayın Burcu Hanım: Bu madde antifungal yani ma... \n",
"496 NORMAL SINIRLARDA UROLOJI UZMANINA MUAYENE OLU... \n",
"497 puerperal mastit denen memede enfeksiyon başla... \n",
"498 Zerrin hanım, madem Ankarada bulunuyorsunuz lü... \n",
"499 Merhaba ağrı kesici kullanabilirsiniz. Ağrı ke... \n",
"\n",
" answer_llama3_8b \n",
"0 Merhabalar!\\n\\nI'd be happy to help you interp... \n",
"1 Merhaba, sevgili kardeşim!\\n\\nİyi haberliyim, ... \n",
"2 Merhabalar!\\n\\nFirst of all, congratulations o... \n",
"3 I'm not a doctor, but I can try to help you un... \n",
"4 Merhaba! Kalça eğriliği ve belde çukurluk çok ... \n",
".. ... \n",
"495 Merhaba hocam, gebeliğinizi 7 haftalık olarak ... \n",
"496 Iyi günler, doktorunuz olarak, sizin soruların... \n",
"497 Merhaba! Congratulations on breastfeeding your... \n",
"498 It seems like you're experiencing a persistent... \n",
"499 Merhaba! First, please don't worry, it's norma... \n",
"\n",
"[500 rows x 4 columns]"
]
},
"execution_count": 24,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"generated_answers_llama3_8b_df = pd.read_csv('generated_answers_llama3_8b.csv')\n",
"generated_answers_llama3_8b_df"
]
},
{
"cell_type": "code",
"execution_count": 74,
"metadata": {},
"outputs": [],
"source": [
"generated_answers_llama3_8b = []\n",
"\n",
"for i in range(len(generated_answers_llama3_8b_df)):\n",
" generated_answers_llama3_8b.append({\n",
" 'question_content': generated_answers_llama3_8b_df.loc[i]['question_content'],\n",
" 'generated_answer': generated_answers_llama3_8b_df.loc[i]['generated_answer'],\n",
" 'original_answer': generated_answers_llama3_8b_df.loc[i]['original_answer'],\n",
" 'answer_llama3_8b': generated_answers_llama3_8b_df.loc[i]['answer_llama3_8b'],\n",
" })\n"
]
},
{
"cell_type": "code",
"execution_count": 65,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Merhabalar Benim sol alt karın boslugumda elimle hissettiğim ağrısı olmayan bir kitle vardı bu sebeple Dr gittim ultrason ve kontrastlı alt batınMr çekilmesi uygun gördüler ve sonuçları çıktı Mr sonucunu göre ultrason eşliğinde ince İğneli biyopsi yapıldı sonuçları daha gelmedi .benim sizden ricam Mr sonucum yorumlayabilirmisiniz. SONUÇ retrovert uterus sağ overde folikul kistler sol alt kadranda batın on duvarında subkutan dokuda 36 mm boyutta T1 imajlarda kas ile izointens T2 imajlarda sinyal artimı gösteren düzensiz sınırlı ve post-kontrast incelemelerde boyanır lezyon (hemanjiom? Lenfonjiom? Fibrom?) Simdiden Teşekkürler'"
]
},
"execution_count": 65,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"generated_answers_df.loc[0]['question_content']"
]
},
{
"cell_type": "code",
"execution_count": 75,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"201"
]
},
"execution_count": 75,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"len(generated_answers_llama3_8b)"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"import time\n",
"%time\n",
"# start with generated answers length index \n",
"start_index = len(generated_answers_llama3_8b)\n",
"\n",
"for i in range(start_index, len(generated_answers_df)):\n",
" # prompt\n",
" start_time = time.time()\n",
" question_content = generated_answers_df.loc[i]['question_content']\n",
" answer_llama3_8b = ol.generate(model=\"llama3\", prompt=question_content)\n",
" generated_answers_llama3_8b.append({\n",
" \"question_content\": question_content,\n",
" \"generated_answer\": generated_answers_df.loc[i]['generated_answer'],\n",
" \"original_answer\": generated_answers_df.loc[i]['original_answer'],\n",
" \"answer_llama3_8b\": answer_llama3_8b['response'],\n",
" })\n",
" finish_time = time.time() - start_time\n",
" now = time.time()\n",
" now_str = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(now))\n",
" print(f\"{i}.\\tGenerated answer in {round(finish_time, 2)} seconds at {now_str} for {question_content}\")\n",
" if (i + 1) % 50 == 0:\n",
" generated_answers_llama3_8b_df = pd.DataFrame(generated_answers_llama3_8b)\n",
" generated_answers_llama3_8b_df.to_csv(\"generated_answers_llama3_8b.csv\", index=False)\n",
" print(\"Saved generated answers to generated_answers_llama3_8b.csv\")"
]
},
{
"cell_type": "code",
"execution_count": 27,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"<div>\n",
"<style scoped>\n",
" .dataframe tbody tr th:only-of-type {\n",
" vertical-align: middle;\n",
" }\n",
"\n",
" .dataframe tbody tr th {\n",
" vertical-align: top;\n",
" }\n",
"\n",
" .dataframe thead th {\n",
" text-align: right;\n",
" }\n",
"</style>\n",
"<table border=\"1\" class=\"dataframe\">\n",
" <thead>\n",
" <tr style=\"text-align: right;\">\n",
" <th></th>\n",
" <th>question_content</th>\n",
" <th>generated_answer</th>\n",
" <th>answer_llama3_8b</th>\n",
" <th>original_answer</th>\n",
" <th>answer_gemma2_answer</th>\n",
" </tr>\n",
" </thead>\n",
" <tbody>\n",
" <tr>\n",
" <th>0</th>\n",
" <td>Merhabalar Benim sol alt karın boslugumda elim...</td>\n",
" <td>Merhaba öncelikle geçmiş olsun. ultrason sonuc...</td>\n",
" <td>Merhabalar!\\n\\nI'd be happy to help you interp...</td>\n",
" <td>Burda yazan sonuçlara göre önemli bir hastalık...</td>\n",
" <td>Üzgünüm, ancak tıbbi sonuçları yorumlayamam. B...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>1</th>\n",
" <td>Merhaba Hocam.. 26 yaşındaki kardeşim 15 gün ö...</td>\n",
" <td>Merhaba, öncelikle geçmiş olsun. Bu tür yarala...</td>\n",
" <td>Merhaba, sevgili kardeşim!\\n\\nİyi haberliyim, ...</td>\n",
" <td>Bu konudaki en sağlıklı cevabı, nöroloji uzman...</td>\n",
" <td>Anlıyorum, kardeşinizin geçirdiği trafik kazas...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>2</th>\n",
" <td>merhabalar! 15 yaşımda primer amenore teşhisiy...</td>\n",
" <td>Merhaba, öncelikle muayene olmadan net bir şey...</td>\n",
" <td>Merhabalar!\\n\\nFirst of all, congratulations o...</td>\n",
" <td>Adetin 3. günü hormon tahlili ve ultrason ile ...</td>\n",
" <td>Merhaba! Üzüldüğüm için üzgünüm. Gebe kalmaya ...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>3</th>\n",
" <td>sayın doktor bey annem dün akşam sag tarafında...</td>\n",
" <td>Sayın Sevinç Hanım, Annenizin ağrısının kalple...</td>\n",
" <td>I'm not a doctor, but I can try to help you un...</td>\n",
" <td>Tabii bazı kalp rahatsızlıkları karın ağrısı d...</td>\n",
" <td>Üzgünüm ama tıbbi tavsiye veremem. Annenizin y...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>4</th>\n",
" <td>merhaba hocam benim kalçamda eğiklik var belde...</td>\n",
" <td>Merhabalar; Size bir ortopedi uzmanına muayene...</td>\n",
" <td>Merhaba! Kalça eğriliği ve belde çukurluk çok ...</td>\n",
" <td>Büyük ihtimalle uygun egzersiz programları siz...</td>\n",
" <td>Merhaba! Anlıyorum, kalça eğriliği ve bel çuku...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>5</th>\n",
" <td>Hocam merhaba, 9 yaşındaki oğlumda 2 sene evve...</td>\n",
" <td>Merhaba Sevilay Hanım, 9 yaşındaki oğlunuzun m...</td>\n",
" <td>Merhaba, hocam!\\n\\nFirstly, congratulations on...</td>\n",
" <td>Merhaba, Çocukluk çağında miyopide ilerleme ol...</td>\n",
" <td>Merhaba, oğlunuzun göz sağlığıyla ilgili endiş...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>6</th>\n",
" <td>Emine topal hocam paravertebral ve paraspinal ...</td>\n",
" <td>Geçmiş olsun. Burada söylediğiniz ve paylaştığ...</td>\n",
" <td>A medical question from a esteemed colleague!\\...</td>\n",
" <td>Saptandı yazıyor ise ilaçlı MR gerekli, Saptan...</td>\n",
" <td>Merhaba,\\n\\nAnlıyorum, MR sonuçlarınızda \"para...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>7</th>\n",
" <td>Merhaba doktor Bey. sağdaki azı dişime 6 yıl ö...</td>\n",
" <td>merhaba dişinizi açmadan kaplamayı sökmeden ve...</td>\n",
" <td>Merhaba, konuyu anladım. Kanal tedavisi uygula...</td>\n",
" <td>doktorunuz doğru yönlendirmiş dilek hanım dişi...</td>\n",
" <td>Merhaba,\\n\\nAnlıyorum, ağrı ve şişlik çok raha...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>8</th>\n",
" <td>Merhaba hocam.Çocuğum 14,5 yaşında.Spor lisans...</td>\n",
" <td>Merhaba, Eko da üfürüm muayenede duyulan sesle...</td>\n",
" <td>Merhaba! İyi ki buraya geldiniz. Çocuğunuzun 1...</td>\n",
" <td>Üfürümün kalp hastalığından mı olduğu konusunu...</td>\n",
" <td>Merhaba,\\n\\nÇocuğunuzun spor lisansı için dokt...</td>\n",
" </tr>\n",
" <tr>\n",
" <th>9</th>\n",
" <td>Mrb hocam ben salı günü sizde endoskopi olacağ...</td>\n",
" <td>Merhaba, endoskopilerde o bölgeye lokal aneste...</td>\n",
" <td>I'm happy to help you with your concerns!\\n\\nI...</td>\n",
" <td>Biz uyutarak yapıyoruz haberiniz olmuyor geçmi...</td>\n",
" <td>Anlıyorum, endoskopi öncesi endişelenmek olduk...</td>\n",
" </tr>\n",
" </tbody>\n",
"</table>\n",
"</div>"
],
"text/plain": [
" question_content \\\n",
"0 Merhabalar Benim sol alt karın boslugumda elim... \n",
"1 Merhaba Hocam.. 26 yaşındaki kardeşim 15 gün ö... \n",
"2 merhabalar! 15 yaşımda primer amenore teşhisiy... \n",
"3 sayın doktor bey annem dün akşam sag tarafında... \n",
"4 merhaba hocam benim kalçamda eğiklik var belde... \n",
"5 Hocam merhaba, 9 yaşındaki oğlumda 2 sene evve... \n",
"6 Emine topal hocam paravertebral ve paraspinal ... \n",
"7 Merhaba doktor Bey. sağdaki azı dişime 6 yıl ö... \n",
"8 Merhaba hocam.Çocuğum 14,5 yaşında.Spor lisans... \n",
"9 Mrb hocam ben salı günü sizde endoskopi olacağ... \n",
"\n",
" generated_answer \\\n",
"0 Merhaba öncelikle geçmiş olsun. ultrason sonuc... \n",
"1 Merhaba, öncelikle geçmiş olsun. Bu tür yarala... \n",
"2 Merhaba, öncelikle muayene olmadan net bir şey... \n",
"3 Sayın Sevinç Hanım, Annenizin ağrısının kalple... \n",
"4 Merhabalar; Size bir ortopedi uzmanına muayene... \n",
"5 Merhaba Sevilay Hanım, 9 yaşındaki oğlunuzun m... \n",
"6 Geçmiş olsun. Burada söylediğiniz ve paylaştığ... \n",
"7 merhaba dişinizi açmadan kaplamayı sökmeden ve... \n",
"8 Merhaba, Eko da üfürüm muayenede duyulan sesle... \n",
"9 Merhaba, endoskopilerde o bölgeye lokal aneste... \n",
"\n",
" answer_llama3_8b \\\n",
"0 Merhabalar!\\n\\nI'd be happy to help you interp... \n",
"1 Merhaba, sevgili kardeşim!\\n\\nİyi haberliyim, ... \n",
"2 Merhabalar!\\n\\nFirst of all, congratulations o... \n",
"3 I'm not a doctor, but I can try to help you un... \n",
"4 Merhaba! Kalça eğriliği ve belde çukurluk çok ... \n",
"5 Merhaba, hocam!\\n\\nFirstly, congratulations on... \n",
"6 A medical question from a esteemed colleague!\\... \n",
"7 Merhaba, konuyu anladım. Kanal tedavisi uygula... \n",
"8 Merhaba! İyi ki buraya geldiniz. Çocuğunuzun 1... \n",
"9 I'm happy to help you with your concerns!\\n\\nI... \n",
"\n",
" original_answer \\\n",
"0 Burda yazan sonuçlara göre önemli bir hastalık... \n",
"1 Bu konudaki en sağlıklı cevabı, nöroloji uzman... \n",
"2 Adetin 3. günü hormon tahlili ve ultrason ile ... \n",
"3 Tabii bazı kalp rahatsızlıkları karın ağrısı d... \n",
"4 Büyük ihtimalle uygun egzersiz programları siz... \n",
"5 Merhaba, Çocukluk çağında miyopide ilerleme ol... \n",
"6 Saptandı yazıyor ise ilaçlı MR gerekli, Saptan... \n",
"7 doktorunuz doğru yönlendirmiş dilek hanım dişi... \n",
"8 Üfürümün kalp hastalığından mı olduğu konusunu... \n",
"9 Biz uyutarak yapıyoruz haberiniz olmuyor geçmi... \n",
"\n",
" answer_gemma2_answer \n",
"0 Üzgünüm, ancak tıbbi sonuçları yorumlayamam. B... \n",
"1 Anlıyorum, kardeşinizin geçirdiği trafik kazas... \n",
"2 Merhaba! Üzüldüğüm için üzgünüm. Gebe kalmaya ... \n",
"3 Üzgünüm ama tıbbi tavsiye veremem. Annenizin y... \n",
"4 Merhaba! Anlıyorum, kalça eğriliği ve bel çuku... \n",
"5 Merhaba, oğlunuzun göz sağlığıyla ilgili endiş... \n",
"6 Merhaba,\\n\\nAnlıyorum, MR sonuçlarınızda \"para... \n",
"7 Merhaba,\\n\\nAnlıyorum, ağrı ve şişlik çok raha... \n",
"8 Merhaba,\\n\\nÇocuğunuzun spor lisansı için dokt... \n",
"9 Anlıyorum, endoskopi öncesi endişelenmek olduk... "
]
},
"execution_count": 27,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"generated_answers_gemma2_df = pd.read_csv('generated_answers_gemma2.csv')\n",
"generated_answers_gemma2_df"
]
},
{
"cell_type": "code",
"execution_count": 28,
"metadata": {},
"outputs": [],
"source": [
"generated_answers_gemma2 = []\n",
"\n",
"for i in range(len(generated_answers_gemma2_df)):\n",
" generated_answers_gemma2.append({\n",
" 'question_content': generated_answers_gemma2_df.loc[i]['question_content'],\n",
" 'generated_answer': generated_answers_gemma2_df.loc[i]['generated_answer'],\n",
" 'original_answer': generated_answers_gemma2_df.loc[i]['original_answer'],\n",
" 'answer_llama3_8b': generated_answers_gemma2_df.loc[i]['answer_llama3_8b'],\n",
" \"answer_gemma2_answer\": generated_answers_gemma2_df.loc[i]['answer_gemma2_answer'],\n",
" })"
]
},
{
"cell_type": "code",
"execution_count": 29,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"10"
]
},
"execution_count": 29,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"len(generated_answers_gemma2)"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"import time\n",
"%time\n",
"# start with generated answers length index \n",
"start_index = len(generated_answers_gemma2)\n",
"\n",
"for i in range(start_index, len(generated_answers_llama3_8b_df)):\n",
" # prompt\n",
" start_time = time.time()\n",
" question_content = generated_answers_llama3_8b_df.loc[i]['question_content']\n",
" answer_gemma2_answer = ol.generate(model=\"gemma2\", prompt=question_content)\n",
" generated_answers_gemma2.append({\n",
" \"question_content\": question_content,\n",
" \"generated_answer\": generated_answers_llama3_8b_df.loc[i]['generated_answer'],\n",
" \"answer_llama3_8b\": generated_answers_llama3_8b_df.loc[i]['answer_llama3_8b'],\n",
" \"original_answer\": generated_answers_llama3_8b_df.loc[i]['original_answer'],\n",
" \"answer_gemma2_answer\": answer_gemma2_answer['response'],\n",
" })\n",
" finish_time = time.time() - start_time\n",
" now = time.time()\n",
" now_str = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(now))\n",
" print(f\"{i}.\\tGenerated answer in {round(finish_time, 2)} seconds at {now_str} for {question_content}\")\n",
" if (i + 1) % 10 == 0:\n",
" generated_answers_gemma2_df = pd.DataFrame(generated_answers_gemma2)\n",
" generated_answers_gemma2_df.to_csv(\"generated_answers_gemma2.csv\", index=False)\n",
" print(\"Saved generated answers to generated_answers_gemma2.csv\")"
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.9.6"
}
},
"nbformat": 4,
"nbformat_minor": 2
}
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment