README.md

멜론 차트 크롤링 샘플 코드

• https://www.facebook.com/groups/askdjango
• [email protected]

melon_top100 = get_song_list()

내역

[{'song_no': '32872978',
  'title': 'Dynamite',
  'album': 'Dynamite (DayTime Version)',
  'artist': '방탄소년단',
  'rank': 1,
  'like': 354655},
 {'song_no': '33077590',
  'title': 'VVS (Feat. JUSTHIS) (Prod. GroovyRoom)',
  'album': '쇼미더머니 9 Episode 1',
  'artist': '미란이',
  'rank': 2,
  'like': 40716},
 {'song_no': '32998018',
  'title': '힘든 건 사랑이 아니다',
  'album': '힘든 건 사랑이 아니다',
  'artist': '임창정',
  'rank': 3,
  'like': 74236},
 #
 # 생략 ...
 #
{'song_no': '31316695',
  'title': '하루도 그대를 사랑하지 않은 적이 없었다',
  'album': '하루도 그대를 사랑하지 않은 적이 없었다',
  'artist': '임창정',
  'rank': 100}]

CSV 파일 생성

import pandas as pd

df = pd.DataFrame(melon_top100)
df.to_csv("melon_top100_utf8.csv")  # UTF8 인코딩입니다.

melon_chart.py

import requests
from bs4 import BeautifulSoup


headers = {
    'User-Agent': (
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) '
        'AppleWebKit/537.36 (KHTML, like Gecko) '
        'Chrome/72.0.3626.121 Safari/537.36'
    ),
}


def get_like_count(song_no_list):
    api_url = "https://www.melon.com/commonlike/getSongLike.json"
    params = {"contsIds": song_no_list}
    res = requests.get(api_url, params=params, headers=headers)
    res.raise_for_status()
    response = res.json()
    like_list = response["contsLike"]
    like_dict = {
        str(song["CONTSID"]): song["SUMMCNT"]
        for song in like_list}
    return like_dict


def get_song_list():
    res = requests.get("http://www.melon.com/chart/index.htm", headers=headers)
    res.raise_for_status()
    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    tr_tag_list = soup.select('.d_song_list tbody tr')

    song_list = []

    for rank, tr_tag in enumerate(tr_tag_list, 1):
        song_no = tr_tag["data-song-no"]
        song_tag = tr_tag.select_one('a[href*=playSong]')
        album_tag = tr_tag.select_one('.wrap_song_info a[href*=goAlbumDetail]')
        artist_tag = tr_tag.select_one('a[href*=goArtistDetail]')

        song = {
            'song_no': song_no,
            'title': song_tag.text,
            'album': album_tag.text,
            'artist': artist_tag.text,
            'rank': rank,
        }
        song_list.append(song)

    song_no_list = [song["song_no"] for song in song_list]
    like_dict = get_like_count(song_no_list)

    for song in song_list:
        like_count = like_dict[song["song_no"]]
        song["like"] = like_count

    return song_list

melon_top100_utf8.csv