gh640 · May 17, 2024 01:05 · gh640 · May 17, 2024
diff --git a/tiktoken_gpt_4_turbo_japanese_hiragana_or_katakana.csv b/tiktoken_gpt_4_turbo_japanese_hiragana_or_katakana.csv
	9458	・
	11972	ー
	15024	し
	15682	は
	16073	ン
	16144	の
	16449	・・
	16556	で
	16995	い
	17129	ま
	17663	す
	19732	と
	20230	に
	20251	ト
	21105	し�
	22398	ス
	22957	こ
	25005	ー�
	25197	イ
	25827	ん
	26269	ッ
	26854	な
	27929	そ
	28713	た
	29220	ク
	29295	が
	30297	う
	30369	る
	30512	を
	30591	あ
	30813	さ
	31195	・・・
	31431	り
	32131	ラ
	32149	か
	32977	も
	33121	れ
	33334	お
	33503	ら
	33541	ます
	33710	ル
	36785	だ
	37823	リ
	38144	て
	38248	ー�
	38641	です
	39850	メ
	39880	ア
	39926	して
	41758	グ
	42634	ロ
	42891	っ
	43514	ち
	44971	レ
	45923	ド
	47260	コ
	47307	タ
	47884	く
	48154	ご
	48552	ック
	50834	き
	51330	この
	52414	ント
	52591	フ
	52884	ブ
	53900	また
	54926	する
	55031	から
	56051	した
	57183	ィ
	57207	シ
	57326	プ
	57903	あり
	57933	テ
	57980	よ
	58426	その
	58942	え
	59739	つ
	60868	サ
	61398	ース
	61689	います
	62004	め
	62903	キ
	63415	・
	64121	み
	64178	ール
	64810	セ
	65299	ウ
	65316	さい
	65575	ード
	66383	」と
	66953	バ
	67016	しか
	67075	ット
	67645	ど
	68042	コ
	68408	デ
	68581	ャ
	68759	マ
	69847	こん
	70563	ピ
	70897	ださい
	71289	や
	71493	カ
	71634	スト
	72315	ください
	72342	せ
	72369	ュ
	72661	でも
	73590	メント
	75694	ざ
	76171	イン
	76428	ジ
	76622	け
	76739	エ
	76947	って
	77121	ござ
	77181	では
	77693	それ
	77750	ログ
	78183	わ
	78205	ョ
	78349	ェ
	78434	します
	78459	チ
	78525	ズ
	78683	ニ
	78699	とう
	78767	ージ
	78983	イト
	79721	ました
	80050	ス
	80539	そして
	80673	しかし
	80805	パ
	81219	ば
	84389	され
	84477	ート
	85663	無し�
	85667	�ん
	85701	これ
	85777	ありが
	85791	ろ
	86421	・・・
	86614	ちは
	86790	ありがとう
	87474	無しさん
	87641	こんに
	89154	ポ
	90115	こんにちは
	90178	コメント
	90620	ただ
	90962	オ
	91062	ム
	91482	ビ
	93298	ピー
	93488	ラン
	94550	ング
	94632	ア
	95371	を
	95604	いう
	96452	ナ
	96841	フ�
	97135	ありがとうござ
	97718	の
	98369	さん
	99695	ペ
	99959	ダ
	100204	じ