Sigrid Jin (ง'̀-'́)ง oO sigridjineth

1편: LLM 역사를 함께 거꾸로 읽어보시죠 ! | 강재욱

Pre-training for completion

언어적 통계 정보를 뉴럴 네트워크로 인코딩 하는 것
따라서 사전 학습 단계에서 언어적 통계 지식을 학습시키는 것
next token prediction (or language modeling)
- 텍스트를 완성하는 것을 반복시키는 것
- 언어의 통계 지식을 주입하는 행위임
사람이 요청한 능력을 가지는 것이 pre training 때문

평균값 정리의 역

기본 성질

고등학교 과정에서 배우는 평균값 정리는 다음과 같다.

"함수 f가 닫힌구간 [a, b]에서 연속이고 열린구간 (a, b)에서 미분가능하면, f(b)-f(a)=f '(c)(b-a)를 만족하는 실수 c가 열린구간 (a, b)에 존재한다."

평균값 정리는 주어진 구간의 평균변화율과 접선의 기울기가 같아지는 어떤 점이 존재한다는 것을 말하고 있다. 반면에, 다음과 같은 명제는 어떨까?

"함수 f가 닫힌구간 [a, b]에서 연속이고 열린구간 (a, b)에서 미분가능하면, 열린구간 (a, b)에 속하는 임의의 c에 대하여 f(s)-f(t)=f '(c)(s-t), s<c<t를 만족하는 실수 s, t가 열린구간 (a, b)에 존재한다."

파이썬의 모든 것은 객체다. 당연하게 들릴 수 있으나 객체 지향 언어라고 하려 모든것이 객체인건 아니다. 예를 들어 자바의 거의 모든것은 객체지만, 원시 자료형 (Primitive Type)은 아니다. 그러나 파이썬은 숫자도 객체다.

>>> 42..__add__(3) # 점을 두개 붙어야 호출 가능하다 45.0

파이썬의 객체는 PyObject로 이뤄져 있다. PyObject는 Include 폴더의 object.h에 다음과 같이 정의 되어 있다.

다음과 같은 PDO Exception 에러가 있다고 생각해보자.

SQLSTATE[HY000] [2002] php_network_getaddresses: getaddrinfo failed: Name or service not known

RDS Host 이름을 찾을 수 없기 때문에 발생하는 문제이다.

가장 쉽게 해결하는 방법은 /etc/hosts에 아이피와 해당 호스트를 직접 입력하면 해결이 되지만, 이거는 특정 도메인을 못 찾는 문제가 아니라 DNS 조회를 못하는 것이다.

우리의 컴퓨터는 다음 방법을 통해 도메인을 조회한다.

인플루엔서

측정에 대하여

집중과 측정 - 달성하고자 하는 결과에 대해 명확해야 하며, 진행 상황을 체계적으로 측정해야 합니다.
초기에 영향력 있는 사람이 저지를 수 있는 일반적인 실수들은 다음과 같습니다:
목표가 모호하고 설득력이 없음 (예: "직원들에게 권한 부여", "팀 구축")
측정이 불충분하거나 전혀 없음
잘못된 측정 - 잘못된 변수를 측정하여 부적절한 행동을 유도함.
예를 들어, 회사에서 혁신을 늘리는 것이 목표라면, 분기별로 새로운 제품 제안 수를 측정하는 것이 당장 눈에 보이는 방법이겠으나
하지만 아이디어 부족의 원인을 이해하기 위해 직원들의 피드백을 받아보면, 사람들이 비웃음이나 처벌을 두려워하여 의견을 제시하지 않는다는 결론에 도달할 것

python threadvars

WSGI와 ASGI 환경에서의 threading.local과 contextvars의 사용 및 차이점
WSGI 환경에서는 각 요청마다 별개의 스레드가 생성되기 때문에 threading.local을 사용해 스레드별로 독립된 데이터 저장소를 관리할 수 있음. 하지만, ASGI 환경에서는 하나의 스레드 안에서 여러 태스크가 동시에 실행되기 때문에 threading.local로는 데이터의 격리가 어려워짐.
이 문제를 해결하기 위해 contextvars가 등장했음. contextvars는 동시성 코드에서 현재 컨텍스트에 대한 데이터를 독립적으로 관리할 수 있는 방법을 제공함. 각각의 비동기 태스크가 자신만의 컨텍스트를 가지고, 이 컨텍스트는 다른 태스크와 공유되지 않아 데이터가 서로 침해받지 않음.
아래 예제 코드는 contextvars를 사용하여 여러 "평행세계"(비동기 태스크)에서 각각의 데이터를 독립적으로 관리하는 방법을 보여주고 있음. 이는 Python 3.7부터 사용 가능한 기술로, 동시성 코드에서 컨텍스트 관리를 더욱 쉽고 명확하게 할 수 있게 해줌.

Istio

Istio는 오픈소스 서비스 메쉬로, 분리된 어플리케이션을 투명하게 계층화할 수 있다.
현재 쿠버네티스의 네트워크 구성에 가장 많이 사용되고 있는 오픈소스기도 하다.
Istio는 쿠버네티스 네트워크의 복잡성을 줄이고, 분산 네트워크 환경에서 여러 어플리케이션들의 연결을 쉽게 설정할 수 있게 지원한다.

Specification

Sidecar 패턴(Pod 내에 Envoy proxy sidecar로 존재)을 이용하여 application 코드의 변경없이 작업자가 VirtualService, DestinationRule이라는 Custom Resource로 손쉽게 원하는 서비스로 트래픽 전송이 가능
k8s로 Canary 배포를 하기 위해선 직접 replica 개수를 조정해야 했으나, Istio VirtualService의 Weight와 subset을 통해 이 과정이 Envoy로 Header와 Path의 L7 라우팅이 매우 간단해짐
log, metric, trace를 Istio를 통해 모두 수집 가능 - Envoy를 통해 Observability 구현
MSA 구조로 인한 Man in middle 공격과 manifest 노출의 리스크를 mTLS로 통신 레이어 보안 향상시킴

유튭 영상

https://www.youtube.com/watch?v=xUpi8pXyiyk

사용 기술: 솔라(Solr)

솔라는 아파치 루씬 기반의 오픈소스 검색 플랫폼, 역색인 구조를 사용하여 빠른 검색을 가능

색인 파이프라인 고도화

색인 파이프라인은 데이터 처리 및 분석을 위한 일련의 단계를 의미
현재 구조 및 이슈: 필요한 데이터를 생성하고 전처리한 다음 색인하는 과정을 거치지만
그러나, 이 과정에서 많은 데이터베이스 테이블에서 변경 사항을 가져와 처리해야 하며, 증분 처리 시에도 각 문서에 많은 데이터를 반복적으로 생성해야 함

• 대용량 데이터를 처리할 때 병렬 프로그래밍은 필수적이다. 파이썬에서는 병렬 연산을 위해 사용하는 default 패키지로 multiprocessing이 있다. 지금까지는 multiprocessing만 사용해봤는데, 최근에 joblib에 대하여 접하게 되어 간단하게 메모하는 겸 공식문서를 정리해보았다. 이번 게시물에서는 주로 Parallel과 Delayed에 대한 설명을 하고자 한다.

pip install joblib
# poetry add joblib

• 일반적인 for loop를 병렬 처리로 전환해보자

• 아래의 예시는 0에서 9까지의 수를 제곱하고 제곱근을 구하는 단순한 for loop이다.

	# coding=utf-8
	# Copyright 2023 The HuggingFace Inc. team. All rights reserved.
	#
	# Licensed under the Apache License, Version 2.0 (the "License");
	# you may not use this file except in compliance with the License.
	# You may obtain a copy of the License at
	#
	# http://www.apache.org/licenses/LICENSE-2.0
	#
	# Unless required by applicable law or agreed to in writing, software