magigo

cd /
mkdir mnt2
mount dev/xvdc /mnt2/
add-apt-repository ppa:webupd8team/java
apt-get update
apt-get install oracle-java7-installer
apt-get install ruby1.9.1-dev
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.4.deb
dpkg -i elasticsearch-1.3.4.deb
nano /etc/elasticsearch/elasticsearch.yml

magigo

input {
  s3 {
    #add_field => ... # hash (optional), default: {}
    #backup_to_bucket => ... # string (optional), default: nil
    #backup_to_dir => ... # string (optional), default: nil
    bucket => "-" # string (required)
    #codec => ... # codec (optional), default: "plain"
    credentials => ["-", "-"] # array (optional), default: nil
    #debug => true # boolean (optional), default: false
    #delete => ... # boolean (optional), default: false

magigo

1、为查询结果自动编号：
select (@rowNO := @rowNo+1) AS rowno, user_name from (select wu.screen_name as user_name from base_wb_ids_pr_hobbies mt  left join base_wb_user wu on mt.uid = wu.id where mt.hobby_id = 224424 order by -mt.pagerank limit 1000) a,(select @rowNO :=0) b  

magigo

import os
import sys
import traceback

# Path for spark source folder
os.environ['SPARK_HOME']="~/Downloads/spark-1.2.0-bin-hadoop2.4"

# Append pyspark  to Python Path
sys.path.append("~/Downloads/spark-1.2.0-bin-hadoop2.4/python/")
sys.path.append("~/Downloads/spark-1.2.0-bin-hadoop2.4/python/lib/py4j-0.8.2.1-src.zip")

magigo

在广告中文字链广告的点击率比图片链广告点击率高，推荐引擎中正好相反

1. 广告的定义 广告是由确定的出资人通过媒介进行有关产品（商品，服务和观点）的，通常是有偿的，有组织的，综合的，劝服性的非人员的信息传播活动 。

2. 三主体 出资人，媒介，受众三方博弈

3. 本质 借助某种有关反首周的媒介的力量，完成较低成本的用户接触

magigo

1. 曝光，取决于广告位的天然属性（对点击起决定性作用）
2. 关注，不要干扰或打断用户的任务，明确揭示推荐的原因，符合用户的兴趣和需求
3. 理解，广告在用户能理解的兴趣范围、与关注度相匹配的理解门槛
4. 信息接受，广告商、广告认可度，广告位的认可度
5. 保持，艺术性带来的记忆效果
6. 购买，在用户的价格敏感接受范围内

magigo

广告 -> 潜在用户 营销 -> 明确需求者

广告效果 -> 硬广，搜索，导航网站，淘宝直通车，返利网

magigo

1. 技术和计算导向，精细的受众定向，技术式的广告的决策和交易朝着计算驱动的方向发展
2. 可衡量性，点击可衡量，从98年到现在横幅广告的点击率从10%降到0.1%
3. 标准化，技术投放和精准定向促进了在线广告的标准化
4. 媒体概念的差异化
5. 美国广告行业协会，iab，4A，ANA

magigo

1. 计算问题，找到给定用户（用户），给定上下文（媒体），合适的广告的最佳匹配（ROI）
2. 从优化的角度看 特征提取，受众定向（打标签） 微观优化，CTR预测 宏观优化，竞价市场机制 受限优化，在线分配（对于品牌广告更重量） 强化学习，探索与利用（新的广告要试一试） 个性化重定向，推荐技术
3. 从系统角度来看 候选查询，实时索引

magigo

ROI

Investment =

Return = 点击*点击价值

点击率跟a,u,c有关

点击价值跟a,u有关，跟媒体没关系