kyu999/改行ルール

kyu999 · 2014-08-10T07:03:31Z

あなたは|いくつ知ってる？|スタバの|裏メニューまとめ|

雲南省地震 |被災地の|「泥水ラーメン」|報道に、|「ウソだ、|信じるな」|と|報じた環球網| |一転して|事実を|認め|「謝罪」=中国メディア| |(1/2)|

【Twitter】|焦げたホットケーキが|余りに|美しすぎると|話題

イオンに|異変？|スーパー不振|で赤字寸前 |遅れる消費増税|対策、|首都圏連合に|暗雲か||ビジネスジャーナル/Business| |Journal |スマホ

水素で|動く燃料電池|車、|200万~300万円|補助へ|

トカゲなんて|序の口！|動物園の|ようなメニューが|並ぶ|「珍獣屋」|

ハーマイオニーより|可愛い外国人|を|見たことが|ない

阿部懲罰交代！|G投手陣の|小林“|支持率”じわじわ|上昇中

加護亜依、|細すぎ！|ビキニで|太る宣言

全米で|話題沸騰の|効果絶大ダイエット|『ホール30ダイエット』|と|は？|

似顔絵や|指輪の|写真公開 |段ボール女性|遺体

「合コンで| |“|1杯目” |に|注文したら好印象な飲み物」|ベスト3を|発表しちゃうよ|ぉ~！第1位|は|意外に|も|「とりあえず|ビール」|だって！！！|

原幹恵の|ムチムチボディーwww|

「マツコ&有吉」|人気の|裏に|2層構造”？| |深夜に|テレビを|見ない層が|『怒り新党』|に|ハマる理由|(東洋経済オンライン)|

<野球部員落雷|死>|現場の|高校、|全部活を|10日まで|中止|(毎日新聞)|

東京の|芸人の|多くは|「アンチ島田紳助」| |復帰できて|も|関西ローカル|番組のみ？|

『HERO』|で|光ったキャバ嬢|役・|丸高愛実、|ハマリ役の|背景に|あった過去の|役柄

オリジナルカクテル|も|作れちゃう！？|「ファミレス呑み」|の|進化が|止まらない！|

ケイト・|モスが|ジャスティン・ビーバーに|説教！|「礼儀を|わきまえなさい」|

乗用車が|歩道乗り上げ暴走=|女性軽傷、|運転手行方追う―|警視庁

第1子出産の|蛯原友里の|双子妹・|英里、|結婚10年目|で|出産を|決意した理由

学校や|職場で|チヤホヤされる女性に|共通する6つの|ポイント

水泳部男子、|強制わいせつ|罪

今年の|コミケが|ヤバい・・・|死人が|出るぞ|wwwwwwwwwwwwwww

先発の|本田が|先制アシスト|含む2点に|絡む...ミラン|が|チーバスに|快勝

哀川翔、|特異？|な教育方針 |娘が|明かす|「家で|も|このままです」|

に|おってたらや|だな......女子|は|汗の|ニオイを|どう|防いでる？|

男性に|聞いた！| |「一緒に|食事すると|まずくなる......二度|と|食事に|誘いたくない女性」|の|特徴5選

ユッキーナ、|ママ友問題について|語る

川口春奈ミニ|スカで|初体験始球式|

これだから|やめられない！|学校や|職場恋人の|特権・|4つ

この画像が|キモオタの|心理を|的確に|表現してる

ミタパン、|西武・|金子侑と|熱愛！|一度は|破局も|先月復活

結婚したい！| |美熟女TOP|10

日本史上、|一番ひどい悪人だと|思う1位|「明智光秀」|

全日空787―|9型機就航

納豆の|パキッ|と|たれ考えたやつwwwww|

新生VAIO|3モデルが|1万1016円|引きに| |購入済みの|人に|は|差額ぶんを|返金対応

視聴率23%|超 |かよ役の|黒木華が|明かす|「蓮子と|伝助、|おでこに|チュは|アドリブ」|

adidasから|心拍ゾーンを|視認できる“|超本気”なウェアラブルが|登場

「これは|奴隷契約」|安室奈美恵 |超強気な独立騒動|の|裏

癒し系に|見える、|休日リラックス|モードの|眉メイク

激写！|江頭2:50、|高視聴率男の|意外な素顔 |真面目で|紳士、|ストイックで日々鍛錬...

東海大相模が|“|4本の|矢”で|松本に|挑む - 高校野球|ニュース : |nikkansports.com

8月から|は|やり方変えて！！|星座別・|彼の|落とし方の|ツボ

ささいなことだけど、|自分の|中で|は|めっちゃ|イラっと|する許せないことは？|

「かたじけない」|「ござる」|だけ|じゃ|ない！| |武士語4選

劇場版|『中二病で|も|恋が|したい！』|が|テレビ初放送！|

エボラ出血熱 |リベリアで|非常事態宣言|

O型彼氏と|O型彼女が|上手に|交際するコツ・|4つ

GACKT破局|を|後悔|「ボクは|まだまだ|ガキん|ちょ。|本当に|ありがとう。|伝われば|いいよ|な」|

ミタパン|「めざまし」|出演も|熱愛触れず、|淡々|と|スポーツ情報|紹介

ドラマ|「永遠の|0」|キャスト発表|第5弾は|工藤阿須加！！|

診察室で|医師切られ重傷=|男が|車で|逃走−|札幌

花束に|も|なります♪ リアル|すぎる|「フラワーカップケーキ」|

衝撃！|しょこたんがセミ|の|抜け殻まみれ|に！|

お店の|トイレにて|「従業員も|使用することが|あります」| |←|存分に|使えや

ハヤブサ|「兄キ！」| |ワシ|「お前、|うちの|一族じゃ|ないぞ」| |タカ|「お前は|今日から|インコ族だから」| |ハヤブサ|「」|

未練タラタラ|は|嫌！|後腐れの|ない上手な別れ方・|4選

タイガーが|全米プロ出場|へ！|「痛みは|ない」|

バカ4人組が|線路に|進入wwwwwwww|

天皇杯 |札幌5発！|前橋に|圧勝 - 天皇杯|ニュース

明徳義塾“|馬淵節”早くも|さく裂！|智弁・|岡本を|「敬遠しないと|は|言わん」|

10代2人、|高波に|さらわれ不明 |牧之原市

エボラ欧州上陸。|アフリカは|道に|遺体、|アメリカは|政府が|エボラ特許

東京都墨田区|の|東京スカイツリー|に|パティシエ5人|による|スイーツが|登場

救助ヘリ会社|の|容疑者自殺=|スイス

女子バドミントン|部を|譲渡

8月に|最も|増える肌トラブル|「ニキビ」|を|種類別に|ケアしよう！|

次々|と|生傷の|増える女性の|顔......|なぜ|こんなことに？|

自信満々、|安倍総理が|決断！| |9月解散・|総選挙へ| |どこより|も|早い|「全300小選挙区」|当落完全調査| |電撃訪朝で|絶対に|勝つ|「あと4年、|オレが|やるんだ」| | 経済の|死角

夏の|必須アイテム|だけど......。会社|に|「サンダル」|で|出社するのは|アリ？| |ナシ？|

なぜ|私は、|不満ながら|も|彼氏の|世話を|焼いて|しまうのか？|

EXILE |TRIBE、|新曲PVで|歌舞伎町を|闊歩

世界初3Dプリント|で|作られたサックス、|さてその音色は？|

原爆の|日 |黙祷ツイート|に|賛否両論

横浜の|隠れ家BAR|『国産クラフト|ビール』|の|飲み比べイベント開催|

MS、|IEに|古いActiveXコントロール|の|起動を|ブロックする仕組みを|導入

全国の|クラフトビール|各種1000円| |横浜の|「隠れ家」|バーで|飲み比べイベント

レアル、|仏代表FWベンゼマ|と|2019年まで|の|契約延長を|発表

落雷の|生徒死亡で|部活動休止 |落雷対策を|優先 |愛知

新生Foursqure|アプリが|登場 |まず|大量の|“|好み”登録で|カスタマイズ

VAIO社製|PC、|1万円値下げ|

かき氷の|上から|プレミア焼酎|「森伊蔵」|を|ぶっかける天文館|むじゃきの白熊|を|食べて|みた / 正直|焼酎は|なくて|いい

シリコンバレー101 |(577)| オンライン|ショッピング|の|大海に|Amazonクジラ|を|放つ|「Fire |Phone」|

1945年8月|7日、|広島へ|の|原爆投下を|世界は|どう|報じたか|

9月の|内閣改造 |最大の|サプライズは|小泉進次郎氏|の|入閣か|

この|「生パスタ」|は|一度|味わって|おきたい！|吉祥寺に|ある名店|「スパ吉」|

黙って|いれば|カワイイ！？| |ブスな話し方を|劇的に|変える“|マジックワード|”と|は|

実感！|中国不動産バブル|は|すさまじい

電車と|ホームに|挟まれた男性、|乗客総出で|救出

山本美月、|瞳キラキラ|「輝き大使」|に|

キリンチューハイ |ビターズ、|想定の|2倍以上の|売上を|記録

ハワイで|口コミNo.|1を|獲得したパンケーキは、|“|ぐるぐる|”が|目印|エル・|オンライン

レスリング、|吉田と|伊調が|1位

東電が|見せた′|′|再値上げ回避|′|′|へ|の|覚悟 |原発なし、|給与引き上げ|で|も|第1四半期は|経常黒字に|

PSMの|ブレーメン戦|で|清武が|ゴール、|酒井宏は|フル出場

考古学博物館|の|倉庫に|6500年前|の|骸骨を|発見。|(ペンシルベニア|州)|

クリスピー・クリームから、|ハロウィンモチーフ|の|ドーナツが|4種類登場

“|冷やして|食べる”季節限定ジュレ|で|パンを|もっと|美味しく！|アンデルセン|「ヒュッゲ」|

トヨタ、|足元は|過去最高益で|も|浮かれず

米Google、|Siriより|も|奥ゆかしいIMアプリ|「Emu」|を|買収

原爆の|日 |黙祷ツイート|に|賛否両論

ヤフー検索の|表示差し止め|認めず |男性の|逮捕歴、|京都地裁

超絶アクション|てんこ盛りの|「エクスペンダブルズ3」|最新予告編が|完成

田中将大投手、|意外な場所で|ファンサービス|

孫社長、|Tモバイル買収|を|“|諦めない”と|海外報道 |米1,2位打倒|に|向けた今後の|課題と|は|

2020年の|お土産に？|Twitterで|話題の|「寿司シューズ」|が|気に|なる

これだけ|は|改めて！|つい|食べ過ぎて|しまう人に|共通する|「ある習慣」|と|は|

ホラー映画で|最初の|犠牲者に|なりそうな人1位|「いちゃ|いちゃ|して|いるカップル」|

コートジボワールの|カカオ農園で|働く人たちが| |“|生まれて|初めて|” |チョコレートを|口に|した瞬間の|動画

バイトの|履歴書に|職歴|「ニコニコ|動画の|歌い手」|と|記載する猛者が|現れるwwwww

○|○|上手が|恋を|制す！？| |女子に|聞いた|「狙った男性を|必ず|落とす|『銛ガール』|の|特徴10」|

能年玲奈、|将来に|悩む中高生に|「頭で|考えるより|も|飛び込んで」|と|アドバイス

婚約してた彼氏と|別れさせられた

世界政府から|案内状来たwwwwwww

「流れ星」|ちゅうえい |売れて|から|老化始まる

全高約2メートル、|エヴァンゲリオン初号|機の|人間大フィギュアが|183万円で|販売

トルコライス|とかいう|謎の|食い物wwwwwwwww|

新年会に|も|使って|ます？！|都議会議員の|「政務活動費」|が|公開されました

モーニングスター|で|武装した少年グループ、|男性を|襲撃

北海道の|純白美少女アイドル|グループ|「メルシーココ」|が|東京へ|進出！|メルシーココを|見た記者|「その可愛さは|悪魔を|も|飲み込むモンスター級|の|天使」|

探査機|「ロゼッタ」|が|10年かけて|彗星に|到着、|初の|着陸探査へ|

佐藤健:|「るろ剣」|比プレミア登場|に|5000人絶叫| |53カ国・|地域で|配給へ|

セカオワが|老け顔メイク|で|ライブ！|銀幕デビュー|作の|貴重映像公開！|

緊張して|いませんか？|「男性へ|の|恐れ」|を|なくす単純な3ステップ|

マガジンの|将棋マンガが|ルールを|知らない

菅官房長官 |「ロシアの|対抗措置は|遺憾」|

8月11日|(月)|午前3時|9分に|今年最大の|スーパームーン|が|クル━━━━|(゚∀゚)|━━━━！！|

お前ら、|これが|公務員浪人失敗|三十路の|末路だ。|

公務員給与7年|ぶりアップ |人事院勧告、|年収で|8万円

最後の|「あの花夏祭」|が|“|聖地”秩父で|開催！|茅野愛衣ら声優|陣も！|

ちょっと|変なトコで|お座りしちゃってる犬画像|

Facebookで|最多得票！|ピザハット|「もちポテ明太|ピザ」|が|発売

彡|(^)|(^)|「掃除の|時間や！| |机を|運ぶで！」|

各局女子アナ|6人が|浴衣で|共演“|ハミ出し”フォト披露

すき家|「今後は|外国人を|積極的に|採用します」・・|9月末まで|に|ワンオペ終了|を|決定、|牛丼は|値上げ

ノンスタ井上|“|お持ち帰り報道|”を|否定|「友達ばっかり」|

宮崎駿監督が|「新作に|意欲」| |鈴木敏夫氏が|明かす |スタジオジブリ解体|報道は|否定

みんなの|つぶやき |<職場の|妊婦>|初期の|無理厳禁 |必要な上司の|配慮は|

人間の|ちっぽけさを|実感させられる雄大な自然の|写真28選

球児無失点復帰|「|(感慨は)|まったく|ない」|

相づちが|うるさい、|横文字が|ウザイ、|友達の|気に|なる癖教えて|

アクアリウム初心者|の|水槽大公開|【日記風】|

電車と|ホームに|挟まれた男性 |乗客が|電車を|押して|無事救助/オーストラリア|

『コンボイの|謎』|まさかのゲームアプリ化！| |理不尽さそのまま|に、|伝説の|無理ゲー復活|

睡眠中の|肌や|のどを|乾燥から|守る|「猫かぶりマスク」|を|発売 - フェリシモ| |

kyu999 · 2014-08-10T07:07:17Z

追記：
　1. クォーテーションは特殊な全角開閉区分けありの開バージョンさえ除外したらうまくうごく。title_cleanerのnormalizeを修正しよう。
　2. クォーテーションや括弧の連続への対処がまだ。
　3. これはどっちでもいいんだけど、空白の扱い。空白の前だけにするか後ろだけにするか両方で区切るのか。

kyu999 · 2014-08-10T07:08:08Z

-- coding:utf-8 --

import re
import unicodedata
import MeCab
import os
import title_cleaner

class SpeechTitleSplitter(object):
"""This class split a given title and produces split points for beatiful rendering of that by the simple way"""

def __init__(self):
    self.hiragana_pattern = re.compile(u'[ぁ-ん]+')
    self.kanji_pattern = re.compile(u'[一-龠]+')
    self.katakana_pattern = re.compile(u'[ァ-ヴ]+')
    self.alphanumeric_pattern = re.compile(u'[a-zA-Z0-9]+')
    #開閉の区分けがある全角クォーテーションをleft_kakko, right_kakkoにいれているが、これはテキストエディタの自動変換によって生じたものなのでもし入り込まないと断定できるならこのパターン系には一切入れる必要がなくregulateの中で対処する。逆に必ず入り込むようなことがあるのならregulateの方を変更する。
    self.kigou_pattern = re.compile(u'[！？：；／〜。、!\#$%&\*+,-./・:;<=＝>?]+')
    self.left_kakko_pattern = re.compile(u'([\[\{｛［「『(（｟〈《〔〘【〖<])')
    self.right_kakko_pattern = re.compile(u'[｝］」』）)｠〉》〕〙】〗>]+')

def is_kind_base(self, pattern, letters):
    """
    文字種かどうかを調べるための関数のベース関数。判定は１文字でも含まれてたらTrue, else False
    １文字ごとの判定にはこれを活用できる。
    """
    if pattern.match(letters):
        return True
    else:
        return False

def is_hiragana(self, letters):
    return self.is_kind_base(self.hiragana_pattern, letters)

def is_kanji(self, letters):
    return self.is_kind_base(self.kanji_pattern, letters)

def is_katakana(self, letters):
    return self.is_kind_base(self.katakana_pattern, letters)

def is_alphanumeric(self, letters):
    return self.is_kind_base(self.alphanumeric_pattern, letters)

def is_kigou(self, letters):
    return self.is_kind_base(self.kigou_pattern, letters)

def is_left_kakko(self, letters):
    return self.is_kind_base(self.left_kakko_pattern, letters)

def is_right_kakko(self, letters):
    return self.is_kind_base(self.right_kakko_pattern, letters)

def is_quote(self, letter):
    quotes = [u"\"",u"\'",u"”",u"’"]
    if letter in quotes:
        return True
    else:
        return False

def get_feature(self, node):
    """
    品詞等の情報をnodeから取り出してunicode化する
    """
    features = node.feature.split(",")
    unicoded_features = []

    for each_feature in features:
        unicoded_features.append(unicode(each_feature, "utf-8"))

    return unicoded_features    

def separate(self, sentence): 
    """
    token単位でiterateして分割
    """

    #MeCabは半角空白を認識しないので全角空白に置き換える
    encoded_sentence = sentence.replace(u" ", u"　").encode("utf-8")

    if len(encoded_sentence) <= 0:
        return None

    else:

        tagger = MeCab.Tagger("-O wakati")
        node = tagger.parseToNode(encoded_sentence)

        break_points = []            
        current_position = 0

        #現在つながっている長さ
        chunk_len = 0

        pre_node = node
        current_node = node.next

        while current_node:

            if not node.surface:
                node = node.next
                continue 

            else:
                breakable = False                    

                unicoded_surface = unicode(current_node.surface, "utf-8")
                current_position += len(unicoded_surface)

                this_len = len(unicoded_surface)
                chunk_len += this_len

                pre_feature = self.get_feature(pre_node) 
                current_feature = self.get_feature(current_node)

                #助詞もしくは副詞の後は切る
                if current_feature[0] == u"助詞" or current_feature[0] == u"副詞":
                    breakable = True  

                #記号の後は切る    
                elif current_feature[0] == u"記号":
                    breakable = True

                #長い名詞は切る。ただし数以外
                elif chunk_len > 5 and pre_feature[0] == u"名詞" and current_feature[0] == u"名詞" and  not current_feature[1] == u"数":
                    breakable = True

                #whether break or not    
                if breakable:
                    break_points.append(current_position)
                    chunk_len = 0

                #update cursor    
                pre_node = current_node
                current_node = current_node.next

        return break_points

def regulate(self, breaks, sentence):
    """
    文字単位でiterateする。必要以上に区切られていたらその修正もする。
    """

    pre = sentence[0]
    now = ""
    found_quotes = []
    last_quote = None

    for i, char in enumerate(sentence):

            now = sentence[i]        

            pre_was_broken = not i == 0 and i in breaks

            now_was_broken = i + 1 in breaks

            #今までで最後に出現したクォーテーション取得
            if found_quotes:
                last_quote = found_quotes[-1]

            #print(last_quote)
            #print(found_quotes)

            #前の文字後にて区切られていたら
            if pre_was_broken:

                #もし右括弧のまえでbreakしてたら取り除く
                if self.is_right_kakko(char):
                    breaks.remove(i)

                #記号の前で区切られてたら取り除く    
                elif self.is_kigou(char):
                    breaks.remove(i)

                #空白は前につける
                elif char == u"　":
                    breaks.remove(i)

                #閉じクォーテーション前で区切られてたら
                elif last_quote == char:
                    breaks.remove(i)


            #前の文字列後が区切られてないけど追加したい場合
            else:

                #もし左括弧系の前が区切られたなかったら区切る
                if self.is_left_kakko(char):
                    breaks.append(i)


            #今の文字後にて区切られていたら    
            if now_was_broken:

                #もし左括弧系の後にbreakしてたら取り除く
                if self.is_left_kakko(char):
                    breaks.remove(i + 1)

                #もし開きクォーテーションなら    
                elif not last_quote == char and self.is_quote(char):
                    breaks.remove(i + 1)

            #今の文字後で区切られてないけど追加したい場合    
            else:

                #もし右括弧系の後が区切られてなかったら区切る
                if self.is_right_kakko(char):
                    breaks.append(i + 1)

            #update
            #閉じクォーテーションならそのセットを取り除く
            if last_quote == char:
                found_quotes.pop()
                last_quote = None
            elif self.is_quote(char):
                found_quotes.append(char)

            pre = now

    return breaks

def get_break_points(self, sentence): 
    frequent_breaks = self.separate(sentence)
    return self.regulate(frequent_breaks, sentence)

def visualize(self, break_points, sentence):
    """
    タイトル分割の視覚化
    """
    formatted_sentence = []

    for i, char in enumerate(sentence):
        formatted_sentence.append(char)

        if i + 1 in break_points:
            formatted_sentence.append("|")

    return "".join(formatted_sentence)

def break_and_visualize(self, sentence):
    """
    単体動作確認用
    """
    breaks = self.get_break_points(sentence)
    print(self.visualize(breaks, sentence))

def checking(self):
    """
    複数動作確認用
    """

    f = open("sample_title.txt", "r")

    lines = f.readlines()
    cleaner = title_cleaner.TitleCleaner()

    for line in lines:
        unicoded_line = cleaner.normalize(unicode(line, "utf-8"))
        self.break_and_visualize(unicoded_line)

    f.close()

	separate編：

	1. 助詞もしくは副詞の後は切る
	2. 記号のあとは切る
	3. 長いと切る

	regulate編：

	1. 左括弧の前で切れてたらくっつける
	2. 記号の連続、助詞の連続の場合もくっつける
	3. 右括弧以外の記号の前ではくっつける

kyu999/改行ルール

kyu999 commented Aug 10, 2014

kyu999 commented Aug 10, 2014

kyu999 commented Aug 10, 2014