Skip to content

Instantly share code, notes, and snippets.

View avidale's full-sized avatar

David Dale avidale

View GitHub Profile
@avidale
avidale / taxonomy.md
Last active May 25, 2023 21:22
w2v-taxonomy

Как предсказать гипероним слова (и зачем). Моё участие в соревновании по пополнению таксономии

Как может машина понимать смысл слов и понятий, и вообще, что значит - понимать? Понимаете ли вы, например, что такое спаржа? Если вы скажете мне, что спаржа - это (1) травянистое растение, (2) съедобный овощ, и (3) сельскохозяйственная культура, то, наверное, я останусь убеждён, что вы действительно знакомы со спаржей. Лингвисты называют такие более общие понятия гиперонимами, и они довольно полезны для ИИ. Например, зная, что я не люблю овощи, робот-официант не стал бы предлагать мне блюда из спаржи. Но чтобы использовать подобные знания, надо сначала откуда-то их добыть.

В этом году компьютерные лингвисты организовали соревнование по поиску гиперонимов для новых слов. Я тоже попробовал в нём поучаствовать. Нормально получилось собрать только довольно примитивный алгоритм, основанный на поиске ближайших соседей по эмбеддингам из word2vec. Однако этот простой алгоритм каки

@avidale
avidale / init_logreg.ipynb
Last active May 25, 2023 21:22
Logistic regression initialization.ipynb
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / fsmtforconditionalgeneration.ipynb
Last active May 25, 2023 21:23
Translation_Attention.ipynb
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / micro_segments.ipynb
Last active May 25, 2023 21:23
micro_segments.ipynb
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / create_rut5-base.ipynb
Created April 30, 2021 21:51
create_rut5-base.ipynb
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / rut5-encoder.ipynb
Last active May 25, 2023 21:23
rut5-encoder.ipynb
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / quantreg_gradient.ipynb
Last active May 25, 2023 21:16
quantreg_gradient.ipynb
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / rubert-tiny.ipynb
Last active December 3, 2024 19:38
rubert-tiny
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / evaluate_rubert-tiny.ipynb
Created June 9, 2021 22:32
evaluate_rubert-tiny.ipynb
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@avidale
avidale / parametrics.py
Created June 26, 2021 19:25
parametrics
from transformers import AutoModel, AutoTokenizer
from transformers import AutoModelForCausalLM
import torch
import torch.nn.functional
from tqdm.auto import tqdm
from nltk.translate.bleu_score import sentence_bleu
import pandas as pd
import numpy as np