Mikhail Petrov azalio

Benchmark questions — council model selection (2026-06)

Вопросы, на которых гонялся бенчмарк выбора совета (scripts/council_model_benchmark.py). Два набора по 12 задач: v1 (общие) и v2 (сложнее, менее «зазубренные», с проверяемыми ответами). Запуск: python scripts/council_model_benchmark.py --promptset v1|v2.

Домены: reasoning, code, math, factuality, writing, instruction_following, multilingual, abstention.

Правки после ревью (validation pass). Скорректированы формулировки и эталоны, чтобы benchmark мерил качество, а не терпимость к кривой постановке:

code_debug (v1): функция заменена на реально багованную (sorted(counts)), т.к. прежний вариант for c in counts на Python 3.7+ работает корректно

Исходные данные

Что именно тестировал:

Один реальный diff: ~7000 строк, 29 файлов.
Домейн: улучшения Memory Layer (несколько фаз, много асинхронщины, concurrency и инфраструктурного кода).
18 заранее известных багов, размеченных руками:
- CRIT/HIGH/MED/LOW;
- от банальных “перепутали поле в JSON” до гонок на dict, resource leak и N+1 запросов.
17 моделей:

GKE's metadata-proxy: A Security Architecture Case Study in Kubernetes Token Management

How Google elegantly solved a critical security challenge in Workload Identity Federation

In the world of cloud-native security, the details matter. Today, I want to share an elegant security design pattern from Google Kubernetes Engine (GKE) that solves a seemingly simple problem: How do you safely allow a proxy service to obtain JWT tokens on behalf of pods? The answer reveals important lessons about security architecture and the principle of least privilege.

The Context: Workload Identity Federation

Documentation

Overview

<Краткое описание сути фичи, её цели и для чего она нужна.>
Пример: "Картина дня" — это автоматическая генерация дневного дайджеста чат-активности, чтобы быстро получать обзор тенденций, тем и важных событий за сутки.

Key Features

package main

import (
	"context"
	"flag"

Дано: кластер собранный по kubernetes-hard-way [^1].
Надо: присоединить ноду kubernetes с помощью bootstrap token.

Включаем в kube-apiserver аутентификацию по токенам

--enable-bootstrap-token-auth

Сегодня мне задали интересный вопрос: как обнаружить ситуацию, когда YAML-файл синтаксически корректен, но его содержимое некорректно для Kubernetes, и сделать это до попытки его применения в кластере?

Рассмотрим следующий пример манифеста:

---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:

	# Does BINEVAL beat holistic LLM-judging? A faithful replication on QAGS

	Self-contained write-up for an article. Everything needed to reproduce is
	here: the paper's claim, our method, the exact prompts, the exact question banks,
	the models, the datasets, the commands, the full numbers, and the statistics.

	- Paper: **"Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation
	and Self-Improvement"** (BINEVAL), Cho, Chawla, Cai, Liu, Zhu, Zhang, Sahu;
	Capital One AI Foundations; ICML 2026 CoLLAs workshop. arXiv:2606.27226.
	- Our code: `backend/eval/bineval.py`, `backend/eval/qags_dataset.py`,

	<!DOCTYPE html>
	<html lang="zh-CN">
	<head>
	<meta charset="UTF-8">
	<meta name="viewport" content="width=device-width, initial-scale=1.0">
	<title>确认表单 - 小庄</title>
	<style>
	* { box-sizing: border-box; }
	body {
	font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, sans-serif;

	<!DOCTYPE html>
	<html lang="zh-CN">
	<head>
	<meta charset="UTF-8">
	<meta name="viewport" content="width=device-width, initial-scale=1.0">
	<title>确认表单 - 小庄</title>
	<style>
	* { box-sizing: border-box; }
	body {
	font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, sans-serif;