Eohyung Lee leoh0

LLM Wiki

A pattern for building personal knowledge bases using LLMs.

This is an idea file, it is designed to be copy pasted to your own LLM Agent (e.g. OpenAI Codex, Claude Code, OpenCode / Pi, or etc.). Its goal is to communicate the high level idea, but your agent will build out the specifics in collaboration with you.

The core idea

Most people's experience with LLMs and documents looks like RAG: you upload a collection of files, the LLM retrieves relevant chunks at query time, and generates an answer. This works, but the LLM is rediscovering knowledge from scratch on every question. There's no accumulation. Ask a subtle question that requires synthesizing five documents, and the LLM has to find and piece together the relevant fragments every time. Nothing is built up. NotebookLM, ChatGPT file uploads, and most RAG systems work this way.

개요

우선 이 글은 cloud의 k8s 서비스들의 보안이 허술했을때 이야기 입니다. 현재로는 대부분의 서비스들이 높은 보안 수준을 유지하고 있기때문에 이런일은 없다고 볼 수 있습니다. 이 글은 픽션이고 k8s의 보안에 대한 경각심과 지식추구를 위해 작성되는 것입니다. 함부로 다른 서비스에 위해를 가하는 것은 엄연한 불법이고 이 글이 지향하는 바는 아닙니다.

cloud의 k8s 서비스는 master가 숨겨져 있다.

우선 이글을 읽기 전에 기초적으로 설명드려야 할 것은 대부분의 cloud의 k8s 서비스들은 master node가 존재하지 않는 구조임을 알고 있어야 합니다. 왜 master가 존재하지 않는지 먼저 설명하기 앞서, 정확하게 유저에 클러스터에 node로 master가 존재하지 않는 것이지 실제로 모든 k8s cluster는 master가 필요합니다. 즉, node로 등록이 안되어 master는 유저가 접근이 불가능하게 되어 있고 master에 유저가 원하는 워크로드를 당연히 올릴 수 없게 되어 있을 뿐이고 실제 master는 cloud에서 직접 관리하는식으로 제공합니다.

그렇다면 왜 master가 숨겨져 있을까요? 이유는 여러가지가 있지만 대부분의 cloud 서비스는 management의 영역과 user의 영역을 정확하게 구분해야 합니다. k8s의 형상이란 걸 정의할때 여러가지 구성요소가 있겠지만 대부분 master와 같은 control plane 노드안에 담겨져 있고 이부분이 user가 변경하지 않아야 k8s 각 클러스터의 보다 정확한 형상관리가 가능해집니다. 그래서 master를 management 영역으로 두고 유저가 원하는 워크로드를 올릴 수 있는 영역을 user 영역으로 두고 있습니다. 그래서 user가 master에 접근을 못하도록 막는 것이 중요합니다.

mac 에서 docker-desktop을 대체하기

https://gist.github.com/leoh0/3b3c908f0e931d7c620d273c77ea3757

docker-desktop 를 2022년 1월 31일까지 대체해야 하기에 다들 여러 방법을 사용하실 것 같은데 windows에서는 사실 wsl2 를 사용하면서 docker 를 그대로 깔아서 쓸 수 있다는 것 때문에 큰 제약없이(eg. wsl이 결국 브릿지를 거치기 때문에 vpn등 사용시 mtu 조절이 필요할 수 있는 제약이 있음)사용 가능한데 맥은 사실 linux 스택을 그대로 사용할 수 없기때문에 vm을 올려야 하는 상태입니다.

불편한 점

하지만 이에 따라 여러가지 불편한 점들이 있습니다.

쿠버네티스 안에서 특정 트래픽을 특정 노드로 보내는 "무난하지 않은 방법"

우선 이걸 보기전에 쿠버네티스 안에서 특정 트래픽을 특정 노드로 보내는 "무난한" 방법을 보는게 좋다. 대충, 나가야 하는 노드에 squid 같은 reverse proxy를 두고 보내는 팟에서 해당 pod으로 http_proxy등을 이용해서 트래픽을 보내는 방법 과 같은 전통적인 방법이다.

그렇다면 "무난하지 않은" 방법은 무엇일까? 여기서 사용하는 방법들은 악용의 소지들이 다분하고 어느정도 k8s의 보안홀들을 이용하는 방법들이다.

우선 위와 같은 방법은 트래픽을 보내는 pod의 사용자가 온전히 보내야 하는 트래픽을 신경써야 하는 상태이다. 그렇다면 이렇게 하지 않는 방법은 무엇일까?

k8s에서의 docker rate limit 문제 정리

docker rate limit 일반적인 해결 방법

Mirror registry build

Registry as a pull through cache | Docker Documentation

그래도 다수의 다양한 이미지를 풀하면 mirror registry가 rate limit에 걸릴 가능성이 존재

	curl -fSL --progress -H "Authorization: Bearer $(curl -fsSL "https://auth.docker.io/token?service=registry.docker.io&scope=repository:leoh0/debs:pull" \| grep "token" \| sed 's/."token": "\([^"]\)".*/\1/g')" https://registry-1.docker.io/v2/leoh0/debs/blobs/sha256:766e5ecec693332a41503fce52bef730fd1470c00068b1e2e5ab8abfdb79b34f \| tar xzvf -

	https://raw.githubusercontent.com/moby/moby/master/contrib/download-frozen-image-v2.sh

	curl -fSL --progress -H "Authorization: Bearer $(curl -fsSL "https://auth.docker.io/token?service=registry.docker.io&scope=repository:leoh0/files:pull" \| grep \"token\" \| sed 's/."token": "\([^"]\)".*/\1/g')" https://registry-1.docker.io/v2/leoh0/files/blobs/sha256:86740787609b1c5e5af2bce0f6c0cca1a10a5deb0fc4e2a284372eb6d90355f9 \| tar xzvf -

	netsh winhttp set proxy ""

	$r = Invoke-RestMethod -Uri "https://auth.docker.io/token?service=registry.docker.io&scope=repository:leoh0/files:pull"
	$t = $r.token

	FROM alpine/git as git
	WORKDIR /
	RUN git clone https://github.com/obmarg/libsysconfcpus.git

	FROM gcc as builder
	COPY --from=git /libsysconfcpus /libsysconfcpus
	RUN /libsysconfcpus/configure && make && make install

	FROM nginx:alpine
	COPY --from=builder /usr/local/lib/libsysconfcpus.so /usr/local/lib/

	#!/bin/bash
	interfaces=( $(netstat -in \| egrep 'utun\d .*\d+\.\d+\.\d+\.\d+' \| cut -d ' ' -f 1) )
	rulefile="rules.tmp"
	echo "" > $rulefile
	sudo pfctl -a com.apple/tun -F nat
	for i in "${interfaces[@]}"
	do
	RULE="nat on ${i} proto {tcp, udp, icmp} from 192.168.64.0/24 to any -> ${i}"
	echo $RULE >> $rulefile
	done

	echo '''
	CuyasOyEoCDtnoztirjripQg7JWE656Y7JmAIOqwmeydgCDsu6Trp6jrk5wg7IKs
	7Jqp7IucCgpzc2gta2V5Z2VuIC1sIC1mIC9pZF9yc2EgLUUgbWQ1CgrslYTrnpjs
	mYAg6rCZ7J20IOqysOqzvOqwgCDri6TrpbTqsowg64KY7Jik64qUIOqyg+ydtOuL
	pC4KCjMwNzIgTUQ1OjUzOjFlOjZmOjMzOmZkOmUyOjJiOmIxOmJhOjkxOjc1Ojk2
	OjVhOjY1OjY2OjQyIG5vIGNvbW1lbnQgKFJTQSkKNDA5NiBNRDU6ZjM6M2I6NjY6
	ZTE6Zjg6YmQ6OWU6M2Q6YTk6ZDU6ZjY6NDY6Mzk6MjY6YTk6ZmUgbm8gY29tbWVu
	dCAoUlNBKQoK6re4IOydtOycoOuKlCDsgqzsi6Qg7Iuk7Yyo7ZWY64qU7Kq97JeQ
	7ISc7J2YIOqwkuydgCDsi6TsoJzroZzripQgaWRfcnNhLnB1YiDsnZgg6rKw6rO8
	6rCAIOuCmO2DgOuCmOqzoCDsnojquLAg65WM66y47J2064ukLiAoc3NoLWtleWdl

	#!/bin/sh
	# Launch a Pod ab-using a hostPath mount to land on a Kubernetes node cluster as root
	# without requiring `privileged: true`, in particular can abuse `DenyExecOnPrivileged`
	# admission controller.
	# Pod command in turn runs a privileged container using node's /var/run/docker.sock.
	#
	# Tweaked for PKS nodes, which run their docker stuff from different
	# /var/vcap/... paths
	node=${1}
	case "${node}" in