task_list_3.txt

Чек-лист для тем:

Университет (ВШЭ, УрФУ, ICT).
Название темы: англоязычное, русскоязычное.
Направление: C++ разработка сервера ClickHouse; web-разработка инструментов; сравнительное исследование систем. 
ФИО студентов, курс, группа, e-mail, Telegram, GitHub.
Тема подтверждена; подписана.
Для групповых проектов - кто лидер группы.
Есть ли опыт разработки ClickHouse.
Является ли сотрудником Яндекса.
Проведена ли консультация по задаче.
Добавлены ли люди в чат разработчиков.
Просмотрены ли материалы по архитектуре, видео.
На какие материалы обратить особое внимание.
Есть ли проблема со сборкой и запуском ClickHouse, со средой разработки.
Создана issue на GitHub и обозначено, что задача взята в работу.
Определён ли план работы на ближайшие месяцы.
Необходим ли доступ к виртуальным машинам в Облаке.
К кому из сотрудников обращаться за помощью кроме меня.
Что сделано на конец декабря.


Свободные задачи:


Шифрование данных в ClickHouse.

Data encryption in ClickHouse.

Эта задача свободна!


Использование табличных constraints для оптимизации запросов в ClickHouse.

Optimization of ClickHouse queries using table constraints.

Эта задача свободна!


Функции обработки временных рядов.

Functions for time series analysis in ClickHouse.

Эта задача свободна!


Спекулятивное выполнение распределённых запросов в ClickHouse. Уменьшение количества потоков при распределённых запросах.

Speculative execution of distributed queries in ClickHouse for elemination of tail latencies.

Эта задача свободна!



Вывод типов по блоку данных. Вывод формата данных по примеру.

Type inference for data formats by data example.

Эта задача свободна!


Поддержка экспериментальных алгоритмов сжатия в ClickHouse.

Implementation of experimental data compression algorithms in ClickHouse.

Эта задача свободна!




=== Высшая Школа Экономики, Факультет Компьютерных Наук


Wait-free каталог баз данных в ClickHouse.

Implementation of wait-free database catalog in ClickHouse.

Александр Токмаков, 4 курс, группа , Telegram @tavplubix, GitHub

Есть опыт работы с ClickHouse, является сотрудником Яндекса, уже приступил к решению.

Что сделано на конец декабря: есть несколько pull requests, активно идёт работа над задачей.
Что сделано на конец апреля: всё готово, код помержен.


Оптимизация выполнения GROUP BY, DISTINCT, а также LIMIT BY с учётом сортированности таблицы.

Optimization of GROUP BY, DISTINCT and LIMIT BY operations with respect to table sorting key.

Дмитрий Рубашкин, 2 курс.

Есть опыт работы с ClickHouse.

Что сделано на конец декабря: ничего.
Что сделано на конец апреля: есть попытки написать код для GROUP BY.


Поддержка использования в ClickHouse систем координации помимо ZooKeeper.

Support for coordination systems alternative to Apache ZooKeeper in ClickHouse.

Алексей Лёвушкин, 4 курс.

Есть опыт работы с ClickHouse.

Что сделано на конец декабря: начата работа над задачей, разобрался с моделью работы Etcd и способами взаимодействия с ним, сейчас прикручивает GRPC к ClickHouse.
Что сделано на конец апреля: идёт работка над прототипом интеграции с Etcd.


Полиморфные куски данных в таблицах типа MergeTree в ClickHouse.

Polymorphic data chunks in "MergeTree" tables in ClickHouse.

Антон Попов, 3 курс.

Есть опыт работы с ClickHouse, является сотрудником Яндекса, уже приступил к решению.

Что сделано на конец декабря: есть почти готовое решение с компактными кусками.
Что сделано на конец апреля: компактные куски помержены и кое-кто уже использует в продакшене; идёт работа над кусками в оперативке и WAL.


Оптимизация сортировки в ClickHouse.

Optimization of sorting operations in ClickHouse.

Василий Морозов, Арслан Гумеров, Альберт Кидрачев, 3 курс.
GitHub: MorozovVasily, g-arslan, Provet.
Telegram: @gars1
Проведена консультация.

Что сделано на конец декабря: ничего.
Что сделано на конец апреля: ничего.


Структуры данных для вероятностной фильтрации по подзапросам в ClickHouse.

Probablistic data structures for approximate filtering in ClickHouse queries.

Рузель Ибрагимов, 3 курс.

Является сотрудником Яндекса, проведена консультация, уже приступил к решению.

Что сделано на конец декабря: ничего.
Что сделано на конец апреля: ничего.


Словари полигонов и geospatial структур.

Implementation of a data structure for indexed point-in-polygon search.

Андрей Чулков, Антон Кваша, Артур Петуховский, 3 курс

У Андрея есть опыт работы с ClickHouse и он будет сотрудником Яндекса; у других нет.
Помогать будет Николай Кочетов.

Что сделано на конец декабря: реализован интерфейс полигональных словарей, есть неэффективный алгоритм в качестве заглушки, изучен и продуман вариант эффективного алгоритма.
Что сделано на конец апреля: идёт работа над прототипом оптимизированной структуры данных.


GIS типы данных в ClickHouse

Implementation of data types for geospatial analysis in ClickHouse.

Алексей Коряков, Алексей Илюхов. 2 курс ПМИ-181. GitHub: DoomzD, livace. Telegram @avkoryakov @livace 
Являются сотрудниками Яндекса.
Помогать будет Александр Кузьменков.

Проведена консультация.

Что сделано на конец декабря: ничего.
Что сделано на конец апреля: приступили к работе, но не продвинулись, и видимых результатов почти нет.


Агрегатные функции для статистических тестов.

Implementation of statistical tests as aggregate functions in ClickHouse.

Артём Цыганов, Руденский Константин Игоревич, Семёнов Денис, 2 курс, ПМИ-185, Telegram @anti_v_ist, @l1tsolaiki, @ltybc138

Что сделано на конец декабря: неизвестно, надо спросить.
Что сделано на конец апреля: реализован один статистический тест, вполне продвинутая реализация.


Поддержка формата Avro в ClickHouse.

Support for Apache Avro data format in ClickHouse.

Павел Круглов, 2 курс, Telegram Avogar, GitHub ?
Является сотрудником Яндекса. Проведена консультация.

Помогать с задачей будет Виталий Баранов.

Что сделано на конец декабря: неизвестно, надо спросить.
Что сделано на конец апреля: тема изменена на поддержку форматов в ClickHouse; добавлен JSONEachRow в массиве, реализваны форматы Regexp, MsgPack, Markdown, идёт работа над совершенствованием Parquet, ORC.


Peephole оптимизации и алгебраические оптимизации запросов в ClickHouse.

Algebraic and peephole query optimizations in ClickHouse.

Руслан Камалов, Михаил Малафеев, Виктор Гришанин, 2 курс ПМИ-, Telegram pllpi, mmalafeev, vgrishanin, GitHub kamalov-ruslan, xPoSx, demo-99, e-mail kam_rus_200101@mail.ru, gvs.vector@gmail.com, m2malafeev@gmail.com

Проведена консультация.

Что сделано на конец декабря: есть начальная попытка сделать оптимизацию цепочек if в multiIf.
Что сделано на конец апреля: есть несколько pull requests с реализованными полезными оптимизациями.


Fuzzing тестирование ClickHouse.

Fuzz-testing of ClickHouse DBMS.

Андрей Некрашевич. 2 курс БПМИ-183, Telegram @axolm

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: ничего.


Оптимизация ClickHouse под современный набор инструкций CPU.

Optimization of ClickHouse for modern instruction set architectures.

Дмитрий Ковальков, 3 курс, ПМИ 175, Telegram Dmitrii Kovalkov, GitHub DimasKovas.

Что сделано на конец декабря: читает мануалы Intel, но по коду пока ничего.
Что сделано на конец апреля: есть pull request с dynamic dispatch функций.


Генерация искусственных данных для тестирования заданных запросов. Обфускация запросов для тестирования ClickHouse.

Automatic generation of random datasets for a query; obfuscation of queries for test generation.

Роман Ильговский, 3 курс.

Является сотрудником Яндекса. Проведена консультация. Telegram Ilgovskii, GitHub zedroman.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: поползновения.


Развитие поддержки словарей в ClickHouse.

Improving external distionaries in ClickHouse DBMS.

Артём Стрельцов, Николай Дегтеринский, Наталия Михненко, 2 курс ПМИ-186, Telegram in_chainz, Evilique, nmikhnenko

Что сделано на конец декабря: изучен код, успешно реализована одна мелкая задача на эту тему.
Что сделано на конец апреля: реализована возможность передать настройки в словари.


Cache словари на SSD в ClickHouse.

Никита Васильев, 3 курс.

Implementation of cache-type dictionaries with SSD-optimized data structures in ClickHouse.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: есть pull request.


Поддержка в ClickHouse импорта данных из RabbitMQ.

Support for continuous data import from RabbitMQ in ClickHouse.

Ксения Сумарокова, 2 курс.

Проведена консультация, рассказывал Иван Лежанкин.

Что сделано на конец декабря: изучен способ работы с RabbitMQ из C++ и устройство работы с Kafka в ClickHouse.
Что сделано на конец апреля: есть pull request, хотя ещё почти ничего не работает.


Модификаторы DISTINCT и ORDER BY для всех агрегатных функций.

Support for DISTINCT and ORDER BY modifiers for every aggregate function in ClickHouse.

Софья Борзенкова, курс 3, БПМИ 175.

Проведена консультация.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: неизвестно.


Пережатие старых данных в фоне более сильным алгоритмом.

Background data recompression in ClickHouse.

Кирилл Барухов, 2 курс, БПМИ-184, Telegram @k3rril

Что сделано на конец декабря: изучены материалы, есть вопросы по реализации.
Что сделано на конец апреля: поползновения.


Реализация в ClickHouse кодеков для числовых данных.

Implementation of codecs for integer sequences in ClickHouse.

Вероника Фалчикова, Лада Торчик, 2 курс.

Проведена консультация.
Что сделано на конец декабря: собрали ClickHouse, больше ничего.
Приходили ещё раз. Помогать по задаче будет Артём Зуйков и Александр Токмаков.
Что сделано на конец апреля: pull request с одним из кодеков.


Userspace RAID в ClickHouse.

Implementation of RAID in userspace for ClickHouse.

Глеб Новиков, 4 курс.

Есть опыт работы с ClickHouse.

Что сделано на конец декабря: пока ничего, но мы сейчас будем вместе смотреть варианты решения.
Что сделано на конец апреля: активно разбирается с кодом, примерно понятен способ реализации.


ClickHouse как реплика MySQL.

ClickHouse as a MySQL replica.

Ильяс Адюгамов, 2 курс ПМИ.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: поползновения.


Реализация в ClickHouse протокола PostgreSQL.

Implementation of PostgreSQL wire protocol in ClickHouse.

Элбакян Мовсес Андраникович, 4 курс БПМИ161, Telegram sesvom.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: pull request: есть echo server, добавляет поддержку запросов.


Реализация в ClickHouse протокола HTTP/2 или GRPC.

Implementation of HTTP/2 or GRPC protocol in ClickHouse.

Мария Конькова, 4 курс.

Есть опыт работы с ClickHouse.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: pull request, уже работает выполнение запросов.


User Defined Functions в ClickHouse.

User Defined Functions in ClickHouse.

Игорь Минеев, 4 курс.

Есть опыт работы с ClickHouse.

Что сделано на конец декабря: предложено и рассмотрено несколько возможных подходов к решению с точки зрения эффективности и безопасности.
Что сделано на конец апреля: что-то делает, видимых результатов нет.


Преднастроенные соединения для внешних источников в ClickHouse. Преднастроенные обработчики для HTTP интерфейса. Реплицируемые базы данных.

Predefined connections for external data sources in ClickHouse; predefined handlers for ClickHouse HTTP interface. Replicated database engine in ClickHouse.

Валерий Батурин, 4 курс.

Проведена консультация.

Что сделано на конец декабря: неизвестно, но за это время вторую часть задачи у него отобрали.
Что сделано на конец апреля: появился pull request.


Улучшение кворумных вставок в ClickHouse.

Improvement of quorum inserts in ClickHouse.

Александра Латышева, 3 курс ПМИ-175.

Является сотрудником Яндекса. Проведена консультация.
Помогать будет Александр Сапин.

Что сделано на конец декабря: два раза смотрели, как приступить к задаче, как проследить за важными местами в коде, которые за всё отвечают, но по коду ещё ничего нет.
Что сделано на конец апреля: неизвестно.


Разработка альтернативы библиотеки readline для клиента командной строки ClickHouse.

Development of alternative for readline library in ClickHouse.

Тагир Кускаров, 3 курс ПМИ.
Проведена консультация.

Что сделано на конец декабря: изучил, как работают интерактивные приложения в терминале, прошёл tutorial.
Что сделано на конец апреля: неизвестно.


Прототип GPU offloading в ClickHouse.

GPU offloading prototype in ClickHouse.

Рита Коннова, 2 курс ПИ.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: есть pull request с реализацией bitonic sort.


Виртуальная файловая система для ClickHouse.

Virtual File System for ClickHouse.

Олег Ершов, 4 курс.

Есть опыт работы с ClickHouse.

Что сделано на конец декабря: неизвестно, задачу начали решать другие люди.
Что сделано на конец апреля: пишет реализацию IDisk для HDFS.


Взаимная интеграция аллокатора и кэша.

Integration of data cache and memory allocator.

Михаил Кот, 3 курс.

Проведена консультация.

Что сделано на конец декабря: изучил устройство ArrayCache и внутренних кэшей ClickHouse; вроде в данный момент делает прототип интеграции одного с другим. Участвует в обсуждении разработки ClickHouse.
Что сделано на конец апреля: говорит, что что-то сделал, но нет видимого результата.


Минимальная поддержка транзакций для множества вставок/чтений.

Minimal support for transactions in ClickHouse.

Максим Кузнецов, 4 курс.

Есть опыт работы с ClickHouse.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: неизвестно.


Метрики производительности запросов на основе perf events.

Integration of perf events for query performance metrics in ClickHouse.

Андрей Скобцов, 4 курс, ПИ164, Telegram andreyskobtsov, GitHub and42
Является сотрудником Яндекса, проведена консультация.

Что сделано на конец декабря: сделал тестовую программу для perf events, получил понимание задачи - в какие места в коде это добавлять, что мы хотим получить доступным для пользователя.
Что сделано на конец апреля: есть pull request, он работает.


Дэшборд для работы над pull requests.

Implementation of a dashboard for working with pull requests.

Елизавета Токарева, 4 курс.

Что сделано на конец апреля: неизвестно.


Разработка сайта "Play.ClickHouse".

Development of the "Play.ClickHouse" website.

Азат Асхатевич Калмыков, 3 курс БПМИ-176, Telegram Azatik1000, GitHub Azatik1000, e-mail akalmyk0v@yandex.ru. 

Проведена консультация. Потребуется машина в Яндекс.Облаке.

Что сделано на конец декабря: изучил Docker и Kubernetes, освоил язык Go, выбранный для задачи, смотрит как управлять контейнерами.
Что сделано на конец апреля: есть прототип.


Оптимизация параллельного GROUP BY с помощью flat combining.

Optimization of parallel GROUP BY with flat combining.

Максим Серебряков, 4 курс.

Есть опыт работы с ClickHouse.

Материалы: 
https://www.youtube.com/watch?v=SrucFOs8Y6c

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: экспериментирует с алгоритмами, попробовал два новых перспективных варианта, есть тестовая программа.


Реализация алгоритмов differential privacy в ClickHouse.

Implementation of differential privacy algorithms in ClickHouse.

Артём Вишняков, 3 курс, БПМИ175, Telegram tafxle, GitHub Artemiyfly

Материалы: https://github.com/yandex/ClickHouse/issues/6874

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: неизвестно.


Реализация в ClickHouse типов данных для чисел с плавающей запятой с компактным представлением.

Implementation of compact floating point data types in ClickHouse.

Рустам Гусейн-заде, 4 курс, ПМИ 166, Telegram RuS2m, GitHub RuS2m.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: неизвестно.


Интеграция в ClickHouse функциональности обработки HTTP User Agent.

Integration of HTTP User Agent processing in ClickHouse.

Михаил Филитов, 4 курс, Telegram iiixphillxiii, GitHub lll-phill-lll.

Проведена консультация. Является сотрудником Яндекса.
Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: что-то изучает, видимого результата нет.


Инфраструктура распределённой трассировки для ClickHouse.

Distributed Tracing Infrastructure for ClickHouse.

Александр Кожихов, 4 курс.

Есть опыт работы с ClickHouse. Является сотрудником Яндекса.

Что сделано на конец декабря: изучил open tracing, open census а также то, как эти данные использует Jaeger; по коду ничего нет.
Что сделано на конец апреля: разобрался, как и куда это встроить, но реализации ещё нет.


Улучшение сетевого взаимодействия при репликации ClickHouse.

Optimization of network usage for replication in ClickHouse cluster.

Дмитрий Григорьев, 3 курс ПМИ174, skate_9819@mail.ru, Telegram dimmia, GitHub skate9819. 

Проведена консультация.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: ничего.


Улучшение совместимости SQL диалекта ClickHouse.

Improvement of SQL language compatibility in ClickHouse.

Павел Потёмкин, 4 курс ПМИ, Telegram @Great_Gih_Flora, GitHub Potya
Проведена консультация. Помогать будет Ольга Хвостикова.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: ничего.


Управление прореживанием данных с помощью TTL выражений.

Flexible data coarsening and rollup rules in ClickHouse tables.

Сорокин Николай, 4 курс, ПМИ-165, Telegram @expl0si0nn
Является сотрудником Яндекса.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: понимает вариант реализации, но код отсутствует.


Поддержка Apache Arrow Flight в ClickHouse.

Support for Apache Arrow Flight in ClickHouse.

Жанна Зосимова, 4 курс

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: неизвестно.


Улучшение интеграции ClickHouse с внешними базами данных.

Артемий Бобровский, 4 курс ПМИ

Проведена консультация.

Что сделано на конец декабря: неизвестно.
Что сделано на конец апреля: делает запись в ODBC.


Разработка интерфейса сравнения и анализа производительности ревизий Clickhouse

Обрезкова Дарья, 4 курс БПМИ

Проведена консультация.

Почта: dariahighfly@gmail.com, GitHub DariaHighfly, БПМИ-164

Что сделано на конец апреля: неизвестно.


Разработка типов данных для целых чисел и Decimal расширенной точности.

Андрей Соколов, 4 курс

Telegram @andresokol


=== УрФУ

Встроенный веб-интерфейс для мониторинга и профилирования кластера ClickHouse.

Integrated web-application for monitoring and profiling of ClickHouse clusters.

Антона Мамонов, Telegram: graf-m
Проведена консультация. Уже приступил к решению задачи.

Что сделано на конец декабря: есть веб интерфейс для просмотра состояния кластера и логов; пока в весьма зачаточном виде.


Сравнение производительности современных time-series СУБД.

Performance comparison of modern time-series DBMS.

Матвей Бубнов, Telegram BMW835.
Проведена консультация.

Что сделано на конец декабря: неизвестно; он говорит, что ему надо сдавать диплом не в этом году, а на год позже.


=== Institute Of Computing Technology, Chinese Academy Of Sciences

Реализация алгоритмов min-hash, sim-hash для нечёткого поиска полудубликатов.

Implementation of min-hash and sim-hash algorithms for semi-duplicate search.

GitHub: ucasFL, Telegram flynn1_22

Что сделано на конец декабря: есть pull request с решением задачи, осталось исправить технические мелочи.