elvisgiv / flume_install_ubuntu.md

Last active November 29, 2016 08:21

Install flume on ubuntu

http://hadooptutorial.info/apache-flume-installation/

###Step 1 : Загружаем bin файл флюма http://flume.apache.org/download.html ###Step 2 : поочередно выполняем нижеприведенные строки кода: $ sudo mkdir /usr/lib/flume $ sudo chmod -R 777 /usr/lib/flume

elvisgiv / elastic_examples.md

Last active November 1, 2016 16:05

Поиск слова по одной букве при помощи `match_phrase_prefix`

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-match-query.html#query-dsl-match-query-phrase-prefix

module LibraryApplicationElasticsearchSearchable
  extend ActiveSupport::Concern

  included do
    include Elasticsearch::Model
    include Elasticsearch::Model::Callbacks

elvisgiv / frontend.md

Last active November 10, 2016 13:27

выпадающий текст после нажатия на линк

in some_viwe_file.html.haml

.home-services
  %a{"data-toggle-selector" => "#me", :href => "#"}
    some link name

  #me{class: "cont"}
    %p
      Some text

elvisgiv / elasticsearch_add_fields_another_model.md

Created November 17, 2016 14:58

#Add custom field to elasticsearch https://github.com/elastic/elasticsearch-rails/wiki ##дано We have model ../app/models/log_debug.rb

class LogDebug < LogDatabase
  self.table_name = "log_debug"
  ...
  belongs_to :user
  belongs_to :cluster

elvisgiv / sort_by_id.md

Last active November 24, 2016 14:30

Elasticsearch `sort` by `id`

По умолчанию elascticsearch (ES) НЕ индексирует (отдельно) и НЕ сортирует записи по полю _id. Значения для _id вытаскиваются из поля _uid

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-id-field.html

Вместо этого он индексирует поле _uid, которое и содержит в себе информацию об _id и _type в виде {type}#{id}

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-uid-field.html

Сортировка же по полю _uid является некорректной в виду того, что _id в нем является не integer, а string объектом.

elvisgiv / range_by_date.md

Last active November 25, 2016 16:11

Elasticsearch range by date

Для того, чтобы модель сортировалась в пределах определенного временного отрезка, мы должны передать в ES строку такого вида "2015-01-01T12:10:30Z"

example

module ElasticsearchSearchable
  extend ActiveSupport::Concern
  
  included do
    ...

elvisgiv / elasticsearch_install.md

Last active November 29, 2016 07:53

install elasticsearch

http://itc-life.ru/fluentd-bystryj-poisk-logov-s-elasticsearch-kibana-and-fluentd/

$ `sudo wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/deb/elasticsearch/2.3.1/elasticsearch-2.3.1.deb`
$ `sudo dpkg -i elasticsearch-2.3.1.deb`

После установки добавляем в автозапуск

$ `sudo update-rc.d elasticsearch defaults 95 10`
$ `sudo /bin/systemctl daemon-reload`

elvisgiv / kibana_install.md

Created November 29, 2016 07:55

install kibana

http://itc-life.ru/fluentd-bystryj-poisk-logov-s-elasticsearch-kibana-and-fluentd/

Добавляем ключ:

$ `sudo wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -`

Создадим source list:

$ `echo "deb http://packages.elastic.co/kibana/4.5/debian stable main" | sudo tee -a /etc/apt/sources.list`

elvisgiv / fluentd_install.md

Last active November 29, 2016 08:03

для мастер-машины

(на которую будут приходить логи с нод-машин)

перед этим устанавливаем `elasticsearch` and `kibana`

https://gist.github.com/elvisgiv/cf83570c79da80bec326d2bdd454980d

https://gist.github.com/elvisgiv/e32d1c043df4e38594c6bbd10044548d

Установка Fluentd

(from: http://itc-life.ru/fluentd-bystryj-poisk-logov-s-elasticsearch-kibana-and-fluentd) (from: http://www.fluentd.org/guides/recipes/elasticsearch-and-s3)

elvisgiv / flume_from_kafka_to_elasticsearch_with_kibana.md

Last active November 29, 2016 10:43

flume from kafka to elasticsearch config

flume config

# Name the components on this agent
a1.sources = kafka-source-1
a1.sinks = k1
a1.channels = c1

# Use a channel which buffers events in memory
a1.channels.c1.type=memory

elvisgiv