Skip to content

Instantly share code, notes, and snippets.

@mishari
mishari / gist:cce4b3031ab76a1c250f23262401a637
Created July 31, 2021 06:07
Common voice sentences with period
This file has been truncated, but you can view the full file.
ตัวเครื่องกว้างสามสิบเอ็ด.เก้าเซนติเมตร สูงสิบเซนติเมตร ยาวสามสิบสาม.หกเซนติเมตร น้ำหนัก
เช็กรายชื่อ รพ.-แล็บ ตรวจโควิดสิบเก้าฟรี ใครเข้าเกณฑ์สามข้อนี้
มีความสว่างมากกว่าเดิมสอง.ห้าเท่า
จ.แม่ฮ่องสอน ตื่นเช้ายลทะเลหมอก โอบกอดธรรมชาติสวยสองหมื่นแปดพันเก้าร้อยหกอ่านศูนย์
หน้าปัดขนาดสี่สิบสี่มม.
: ดอกเบี้ยหนึ่ง.เก้าสิบ%
แปดสิบห้าซม.
ยาวสามสิบสี่.ห้าเซนติเมตร
มีการรับรองจาก อย.
ระยะทางทั้งหมดประมาณหนึ่ง.ห้ากิโลเมตร
@mishari
mishari / text_processor.py
Created July 3, 2021 03:58
text processor for Thai language
from pythainlp.tokenize import sent_tokenize, word_tokenize
from pythainlp.util import normalize
from pythainlp.util import num_to_thaiword
from pythainlp.spell import NorvigSpellChecker
import json_lines
import json
import re
import string
import sys
import fileinput
@mishari
mishari / gist:4308887f2f8bc1cd6d7c6e07a68d08f4
Last active June 18, 2021 06:29
Kapook text for Mozilla Common Voice Rev 6
This file has been truncated, but you can view the full file.
สองพันยี่สิบเอ็ด น่าจับตามอง พร้อมเนรมิตให้ว่าที่เจ้าสาวเฉิดฉายโดดเด่นในวันสำคัญ
แต่ทั้ง
และได้ดารานักแสดงตัวท็อป
ประเดิมกันที่เจ้าเหมียวขนนุ่มฟูสีขาวสายพันธุ์แร็กดอลล์
ครีเอตมุมเท่ถ่ายรูปได้เลย ที่ตั้ง เก้าสิบเอ็ด หมู่ เจ็ด
มุมไหนยังมีพื้นที่อยู่ก็อยากจะปลูก
โดยสามารถโทรศัพท์แจ้งกับเจ้าหน้าที่การตลาด
พลูด่างอินเดีย
รอบต่อนาที
อเมริกา
@mishari
mishari / gist:38e12678284003cb619114fc20944f2a
Created May 18, 2021 07:16
แถลงนโยบายพลเอกประยุทธ์
ศิลปะ
วัฒนธรรม
เพื่อพัฒนาร่างกาย
จิตใจ
วินัย
อารมณ์
สังคม
-นโยบายที่แปดการปฏิรูป
สติปัญญาให้สมกับวัย
โดยส่งเสริม
@mishari
mishari / gist:f64391b49d9151123e5d4e764c4006cd
Created May 17, 2021 04:25
URL from Kapook for use in Common Voice
https://baby.kapook.com/view213929.html
https://baby.kapook.com/view214499.html
https://baby.kapook.com/view214253.html
https://baby.kapook.com/view115607.html
https://car.kapook.com/view241149.html
https://car.kapook.com/view241061.html
https://car.kapook.com/view241001.html
https://car.kapook.com/view240919.html
https://car.kapook.com/view240753.html
https://car.kapook.com/view240683.html
@mishari
mishari / gist:0f2e1d64370f5c6e9892450d81af76f7
Created May 12, 2021 03:50
แถลงนโยบายนายก (สุ่ม)
มาตรการสนับสนุนเพื่อเพิ่มช่องทางการส่งออก
ในการป้องกัน เฝ้าระวัง การทุจริตประพฤติมิชอบ
ในการแก้ไขปัญหา
รวดเร็ว โปร่งใส ตรวจสอบได้
พร้อมทั้งบูรณาการหน่วยงานที่เกี่ยวข้องในกระบวนการยุติธรรม
ได้รับการบริการอย่างมีคุณภาพ
ดำเนินชีวิตของประชาชนให้เป็นระบบดิจิทัล
เปลี่ยนสายอาชีพให้ตรงกับความต้องการของตลาดแรงงาน
การพัฒนาระบบการให้บริการประชาชน
ระหว่างราชการบริหารส่วนกลาง ส่วนภูมิภาค ส่วนท้องถิ่น
@mishari
mishari / gist:8aa875979b1d1b0664cb850436b6b04a
Last active May 12, 2021 01:58
แถลงนโยบายของพลเอกประยุทธ์ ตัดเป็นประโยคสำหรับ common voice
ทำให้เกิดการใช้ประโยชน์จากทรัพยากรอย่างคุ้มค่า
พัฒนากลไกแก้ไขปัญหาความขัดแย้งด้านทรัพยากรธรรมชาติ
โดยให้ความสำคัญกับการจัดทำระบบการประเมินสิ่งแวดล้อมระดับยุทธศาสตร์
มาใช้เป็นเครื่องมือเชิงนโยบาย
ในการเพิ่มขีดความสามารถ
ในการกำหนดยุทธศาสตร์การพัฒนา
ร่วมกันของภาคส่วนต่างต่างในสังคม
บูรณาการการทำงานระหว่างหน่วยงานภาครัฐ
ทั้งระดับประเทศ รายสาขา เชิงพื้นที่
เพื่อนำไปสู่การพัฒนาอย่างยั่งยืน
@mishari
mishari / gist:84d4bd26b3f8ba7c4a7dd664fba13cff
Created May 7, 2021 03:38
Validated sentences from Mozilla Common Voice
sentence
เขากำลังมาพอดี
ฉันสามารถทำอะไรให้คุณได้บ้าง
ห้องทดลองนี้คือห้องที่สร้อยถูกเก็บไว้
เขารู้สึกดูถูกว่าพวกเขาไม่รู้จักเขา
การเข้ารหัสแบบอสมมาตรใช้คู่ของคีย์
เมื่อฉันรักใครสักคนอย่างอ่อนโยนและมันดูสดใส
คุณรู้จักฉัน ฉันก็รู้จักคุณเหมือนกัน
ในทันทีทันใดนั้น เขาก็พุ่งตัวเองเข้าไปในกลุ่มนกเค้าแมวอย่างรวดเร็ว
น้องชายอยากไปท่องอวกาศ
"""
Script to extract tweets in Thai and do some cleaning up to prepare them for the Mozilla Common Voice Project.
Released under the MIT License
(c) 2021 Mishari Muqbil
"""
import re
import string
tweet_data = open("data/tweet.js").read()
@mishari
mishari / gist:7475443cfc70af569f41c024b878f81b
Created April 16, 2021 10:46
Tweets from @thanr for Mozilla Common Voice
This file has been truncated, but you can view the full file.
จะได้พับใบแดงสอดได้เนียนๆชิมะ
มันกลับมาแล้ว ก๊าก
แอบลบไปแล้ว
จะไปสอบใบขับขี่ตอนเช้า ยังไม่มีใบรับรองแพทย์เลย
เฮียว่า ม่องป่ะ
ซักพักคงจะเย็นกว่านี้
ผมออกอาทิตย์หน้า
บุตรนอกสมรส
หวานใจ หลุดไปแล้ว เรียบร้อย
ง่วง