Eugene Klimov Slach

	ym:s:productsPurchaseID	ym:s:productsCategory	ym:s:productsCurrency	ym:s:visitID	ym:s:UTMContent	ym:s:openstatCampaign	ym:s:impressionsProductCoupon	ym:s:dateTime	ym:s:lastDirectConditionType	ym:s:browserEngineVersion3	ym:s:browserEngineVersion1	ym:s:browserEngineVersion2	ym:s:UTMMedium	ym:s:hasGCLID	ym:s:productsCategory1	ym:s:impressionsProductCategory4	ym:s:productsID	ym:s:productsVariant	ym:s:screenColors	ym:s:windowClientHeight	ym:s:impressionsProductID	ym:s:impressionsProductName	ym:s:lastReferalSource	ym:s:browserEngine	ym:s:physicalScreenHeight	ym:s:watchIDs	ym:s:screenHeight	ym:s:purchaseRevenue	ym:s:purchaseShipping	ym:s:productsCategory3	ym:s:networkType	ym:s:deviceCategory	ym:s:screenWidth	ym:s:lastSearchEngine	ym:s:UTMSource	ym:s:operatingSystem	ym:s:flashMajor	ym:s:windowClientWidth	ym:s:productsPrice	ym:s:isNewUser	ym:s:goalsID	ym:s:impressionsProductCategory1	ym:s:impressionsProductCurrency	ym:s:ipAddress	ym:s:productsBrand	ym:s:impressionsURL	ym:s:lastSocialNetworkProfile	ym:s:browserLanguage

Обидно, когда не получается вместе использовать два таких достойных продукта

Суть проблемы: При выгрузке данных из Metrica Logs API, генерируются TSV файлы которые потом не распознаются парсером Clickhouse для TabSeparatedWithNames формата и соответвенно не могут напрямую быть загружены в локальный Clickhouse

вот основные ошибки — одинарные ковычки, которые обрамляют строки в комплексных типах Array (String) эскейпятся через
пример это поля ym:s:goalsDateTime и ym:s:goalsOrder

	FROM golang:alpine
	MAINTAINER Eugene Klimov <[email protected]>

	RUN apk --no-cache add git && \
	mkdir -p /zetcd && \
	GOPATH=/zetcd go get github.com/coreos/zetcd/cmd/zetcd && \
	apk del git && \
	cp -v /zetcd/bin/zetcd /bin/zetcd && \
	rm -rf /zetcd

	#!/bin/bash
	set -x pipefail
	# run it under root
	cd /opt/
	rm -rf zabbix-extensions
	git clone https://github.com/lesovsky/zabbix-extensions.git
	cp -fv /opt/zabbix-extensions/files/pgbouncer/pgbouncer.conf /etc/zabbix/zabbix_agentd.conf.d/pgbouncer.conf
	sed -i 's/\/usr\/libexec\/zabbix-extensions\/scripts/\/opt\/zabbix-extensions\/files\/pgbouncer\/scripts/g' /etc/zabbix/zabbix_agentd.conf.d/pgbouncer.conf

	echo localhost:6432:pgbouncer:stats:stats > /opt/zabbix-extensions/files/pgbouncer/.pgpass

	config.yml
	anomalies/
	src/github.com
	src/gopkg.in
	src/golang.org
	src/vendor
	vendor/
	*.log
	pkg/
	dist/

	*.log
	.vagrant/
	.idea/
	*.exe
	*.dll
	*.so
	*.dylib
	*.pcap

	id_rsa

	root@mysql-proxy:/home/vagrant# cat /var/lib/proxysql/proxysql.log
	2018-04-01 14:27:30 [INFO] ProxySQL version 1.4.6-1.1
	2018-04-01 14:27:30 [INFO] Detected OS: Linux mysql-proxy 4.4.0-116-generic #140-Ubuntu SMP Mon Feb 12 21:23:04 UTC 2018 x86_64
	2018-04-01 14:27:30 [INFO] Starting ProxySQL
	2018-04-01 14:27:30 [INFO] Sucessfully started
	2018-04-01 14:27:30 [INFO] Angel process started ProxySQL process 7834
	Standard ProxySQL Cluster rev. 0.1.0702 -- ProxySQL_Cluster.cpp -- Fri Mar 9 07:46:21 2018
	Standard ProxySQL Statistics rev. 1.4.1027 -- ProxySQL_Statistics.cpp -- Fri Mar 9 07:46:21 2018
	Standard ProxySQL HTTP Server Handler rev. 1.4.1031 -- ProxySQL_HTTP_Server.cpp -- Fri Mar 9 07:46:21 2018
	Standard ProxySQL Admin rev. 0.2.0902 -- ProxySQL_Admin.cpp -- Fri Mar 9 07:46:21 2018

	SHELL=/bin/bash
	* * * * * postgres /usr/bin/flock -x -w 60 /tmp/mamonsu_fix.lock -c "for i in {0..59}; do psql -q -A -t -c \"SELECT 1 FROM public.mamonsu_timestamp_master_update()\" > /dev/null; sleep 1; done;"

	.vagrant
	*.log