tokenizer_change_part.py

# data/data_preprocess/tokenization.py line 85
def convert_by_vocab(vocab, items):
  """Converts a sequence of [tokens|ids] using the vocab."""
  output = []
#   print(type(vocab))
  for item in items:
    # 사전에 없는 단어면 Exception을 띄우는 대신, unknown 토큰인 [UNK]를 반환하도록 변경해 줬다.
    if item not in vocab:
      vocab[item] = vocab["[UNK]"]
    output.append(vocab[item])
  return output