Script para buscar o título da página e formatar um tweet

tweet.py

#!/usr/bin/python3
#-*- coding: utf-8 -*-

import sys
import re
import urllib.request
from html.parser import HTMLParser

def usage():
    sys.stderr.write("usage: {0} <url>\n".format(sys.argv[0]))
    sys.exit(1)

try:
    url = sys.argv[1]
except IndexError:
    usage()

title_regex = b'<title.*>(.*?)<\/title>'

content = urllib.request.urlopen(url).read()

# re.DOTALL makes . match newlines
matches = re.search(title_regex, content, re.IGNORECASE | re.DOTALL)
title = matches.group(1).decode('utf-8').replace('\n', '').strip()

title = HTMLParser().unescape(title)

endchar = '\n' if sys.stdout.isatty() else ''
sys.stdout.write('{0} - {1}{2}'.format(title, url, endchar))

@rhcarvalho tem algum jeito melhor de fazer esse unescaping do que essa gambiarra aí?

Engraçado que o GitHub não me notificou... gostei desse sistema novo de notificações, mas essa não é a primeira esquisitice que acontence....

Como conversamos hoje, faz:

from HTMLParser import HTMLParser
unescape = HTMLParser().unescape

---

Outra dica é usar o argparse

urllib.request.urlopen(url).read() poderia ser urllib.urlopen(url).read()
O requests já resolve alguns dos probleminhas, como detetar encoding e tal.