kyo-takano

import gzip

def gzip_search(query: str, candidate_chunks: list[str], top_k: int=1):
    """
    文字列ベースで類似したテキストチャンクを推定するアルゴリズム.
    `query`, `chunk`, および`query + " " + chunk`をそれぞれgzipで圧縮し、編集距離のようなものをベースに評価する.

    Parameters:
        query (str): 検索クエリとして使用する文字列.
        top_k (int, optional): 返される類似チャンクの上位k個を指定する (default: 1).

yoavg

Reinforcement Learning for Language Models

Yoav Goldberg, April 2023.

Why RL?

With the release of the ChatGPT model and followup large language models (LLMs), there was a lot of discussion of the importance of "RLHF training", that is, "reinforcement learning from human feedback". I was puzzled for a while as to why RL (Reinforcement Learning) is better than learning from demonstrations (a.k.a supervised learning) for training language models. Shouldn't learning from demonstrations (or, in language model terminology "instruction fine tuning", learning to immitate human written answers) be sufficient? I came up with a theoretical argument that was somewhat convincing. But I came to realize there is an additional argumment which not only supports the case of RL training, but also requires it, in particular for models like ChatGPT. This additional argument is spelled out in (the first half of) a talk by John Schulman from OpenAI. This post pretty much

CrockAgile

Floating Point Arcade

![Twitter Follow][twitter]

A Shady Coin Toss

A shady game master approaches...

Hey there! You look like you would enjoy a good game of chance.

hakerdefo

deb http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse
# deb-src http://archive.ubuntu.com/ubuntu/ jammy main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse
# deb-src http://archive.ubuntu.com/ubuntu/ jammy-updates main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse
# deb-src http://archive.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu/ jammy-backports main restricted universe multiverse

kaityo256

査読の仕方

査読の仕方についての覚書。初めて査読をすることになり、どうして良いかわからないような人向けに書いてある。分野、雑誌、個人によって流儀が異なるので、全てを鵜呑みにしないで欲しい。なお、私の専門は数値計算であり、主な査読経験はPhys. Rev.系、J. Chem. Phys.、そしてJPSJなどである。

査読とは

査読システムに登場するプレイヤーは三種類、「著者」「エディタ」「査読者」である。

論文が投稿されると、まずエディタと呼ばれる研究者が論文を受け取る。エディタはその論文を読み、適切な査読者を選んで査読を依頼し、査読レポートを著者に送り、著者の反応を見て、最終的にその論文を出版するかどうか判断する。この一連の処理の責任を負うことを「ハンドルする」と呼んだりする。査読システムは著者と査読者のやりとりが主となるが、論文の生殺与奪権はエディタが握っており、実は最重要プレイヤーである。

dougallj

# IDA (disassembler) and Hex-Rays (decompiler) plugin for Apple AMX
#
# WIP research. (This was edited to add more info after someone posted it to
# Hacker News. Click "Revisions" to see full changes.)
#
# Copyright (c) 2020 dougallj


# Based on Python port of VMX intrinsics plugin:
# Copyright (c) 2019 w4kfu - Synacktiv

sainnhe

Everforest - Alacritty

In ~/.config/alacritty/alacritty.yml:

# Define
schemes:
  everforest_dark_hard: &everforest_dark_hard
    primary:
      background: '#272e33'

pandaman64

色々メモリモデル

コンパイラ（LLVM）のメモリモデル

✅ Reconclining high-level optimization and low-level code in LLVM (https://dl.acm.org/doi/10.1145/3276495)

Lee, Hur, Jung, Liu, Regehr, Lopes.

• 低レベル言語（C, C++, Rust）のコンパイラのメモリモデルには二つの相反する目標がある
  • high-level optimization
    • 最適化したい
• 例:

kaityo256

2.4 富士通C++コンパイラの最適化機能の改善について

東京大学物性研究所 物質設計評価施設
渡辺宙志

富士通株式会社 次世代テクニカルコンピューティング開発本部
千葉修一

tbutts

#!/usr/bin/env python
# vim: set fileencoding=utf-8
#
# USAGE:
# Back up your tmux old config, run the script and redirect stdout to your conf
# file. Example:
#
#   $ cp  ~/.tmux.conf  ~/.tmux.conf.orig
#   $ python ./tmux-migrate-options.py  ~/.tmux.conf.orig  >  ~/.tmux.conf
#