mazurov

convert A2_2046X_FR.pdf[33] -resize 600x "./Lingoda/%02d-A2_2046X_FR.png

mazurov

Как масштабировать обработку большого количества аналитических данных

Hive является одним из основных инструментов обработки данных в Criteo, где каждый день сотни аналитиков и тысячи автоматизированных программ запускают Hive запросы. В докладе обсуждается эволюция платформы Hive в Criteo от подверженной ошибкам установки на выделенных серверах до самой лучшей в своем классе архитектуры, способной к самовосстановлению, автоматическому масштабированию для управления растущей нагрузкой. 

Полученная платформа основана на системе управления кластерами Mesos, которая позволяет Criteo масштабироваться по требованию, рациональнее использовать ресурсы и без проблем развертывать новые версии Hive. В докладе подробно описывается архитектура данных Criteo. Cлушатели узнают как компания решила проблемы безопасности, мониторинга, планирования, тестирования и балансировки нагрузки на нескольких уровнях. 

Criteo обладает одним из самых больших Hadoop кластеров в Европе. Основными продуктами компании являются системы для

mazurov

sudo -i
cd /tmp/kitchen
/opt/chef/embedded/bin/chef-zero -d
knife upload . -c client.rb -VVV
/opt/chef/embedded/bin/chef-shell -z -c ./client.rb -j ./dna.json -o <run list>

mazurov

mazurov

http://kibana.pa4.prod.crto.in/app/logtrail#/?q=application:verticacopyerrors%20AND%20hostname:vertica10gopera*&h=All&t=Now&i=kestrel-*&_g=()

mazurov

# Fork main athena repository: https://gitlab.cern.ch/atlas/athena/forks/new
git clone https://:@gitlab.cern.ch:8443/[YOUR_USER_NAME]/athena.git
cd athena
git remote add upstream https://:@gitlab.cern.ch:8443/atlas/athena.git
git fetch upstream  # Ensure sync with main repository
# Use useful name for branch "-b your useful name" 
git checkout -b 21.0-fix-for-something upstream/21.0 --no-track

# Use the latest date in r2017-XX-XX or the day vefore
cd ..

mazurov

class hg_playground::amazurov {
  motd::news{'lhcbpr installed':
    date    => '2015-11-26',
    message => '       The LHCb PR machines installed with puppet.'
  }

  notify {'LHCb settings for LHCb PR machines' :}

  include hg_playground::amazurov::software
  include hg_playground::amazurov::firewall

mazurov

AtlCoolConsole.py COOLONL_TRIGGER/CONDBR2
# In AtlCoolConsole prompt
userunlumi 282026
more /TRIGGER/HLT/HltConfigKeys
# extract key, 2218 in the example

TrigConfReadWrite -i TRIGGERDB 2218 -o xml

mazurov

import sys,os
files = sys.argv[1].replace(',',' ')
events = ''
for line in open('event.txt'):
    events += '%s,' % line.split()[-1]
events = events[:-1]
com = "AtlCopyBSEvent -e %s -o event.dat %s" % (events,files)
print com
sta = os.system(com)
sys.exit(sta % 255)

mazurov

void L1EnergyCMXTools::crateEnergyToEtSums(
    const MultiSliceCrateEnergy &cratesVecFull, const MultiSliceCrateEnergy &cratesVecRestricted,
    xAOD::CMXEtSumsContainer *cmxEtSumsVec, int peak) const
{
    std::map<int, xAOD::CMXEtSums *> etMap;
    unsigned int nslices = cratesVecFull.size();
    std::vector<uint16_t> dummy(nslices);
    std::vector<uint32_t> error(nslices);

    for (unsigned int slice = 0; slice < nslices; ++slice)