Skip to content

Instantly share code, notes, and snippets.

Show Gist options
  • Save gh640/0adaf39ec3c2464536dd0c3ae3c9ff3a to your computer and use it in GitHub Desktop.
Save gh640/0adaf39ec3c2464536dd0c3ae3c9ff3a to your computer and use it in GitHub Desktop.
tiktoken GPT-4 Turbo Japanese hiragana or katakana
9458
11972
15024
15682
16073
16144
16449 ・・
16556
16995
17129
17663
19732
20230
20251
21105 し�
22398
22957
25005 ー�
25197
25827
26269
26854
27929
28713
29220
29295
30297
30369
30512
30591
30813
31195 ・・・
31431
32131
32149
32977
33121
33334
33503
33541 ます
33710
36785
37823
38144
38248 ー�
38641 です
39850
39880
39926 して
41758
42634
42891
43514
44971
45923
47260
47307
47884
48154
48552 ック
50834
51330 この
52414 ント
52591
52884
53900 また
54926 する
55031 から
56051 した
57183
57207
57326
57903 あり
57933
57980
58426 その
58942
59739
60868
61398 ース
61689 います
62004
62903
63415
64121
64178 ール
64810
65299
65316 さい
65575 ード
66383 」と
66953
67016 しか
67075 ット
67645
68042
68408
68581
68759
69847 こん
70563
70897 ださい
71289
71493
71634 スト
72315 ください
72342
72369
72661 でも
73590 メント
75694
76171 イン
76428
76622
76739
76947 って
77121 ござ
77181 では
77693 それ
77750 ログ
78183
78205
78349
78434 します
78459
78525
78683
78699 とう
78767 ージ
78983 イト
79721 ました
80050
80539 そして
80673 しかし
80805
81219
84389 され
84477 ート
85663 無し�
85667 �ん
85701 これ
85777 ありが
85791
86421 ・・・
86614 ちは
86790 ありがとう
87474 無しさん
87641 こんに
89154
90115 こんにちは
90178 コメント
90620 ただ
90962
91062
91482
93298 ピー
93488 ラン
94550 ング
94632
95371
95604 いう
96452
96841 フ�
97135 ありがとうござ
97718
98369 さん
99695
99959
100204
@gh640
Copy link
Author

gh640 commented May 17, 2024

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment