magigo

Plugin architecture based on "sub-class discovery method" described in a talk
by Dr. André Roberge. The talk is called "Plugins and monkeypatching:
increasing flexibility, dealing with inflexibility".

Here's the talk recorded at PyCon 2009 in Chicago:
http://us.pycon.org/2009/conference/schedule/event/47/

Plugin writer HOWTO:
1. subclass "Base"
2. implement sayHi()

magigo

import os
import sys
import traceback
import json


# Path for spark source folder
os.environ['SPARK_HOME']="/Users/jilu/Downloads/spark-1.3.0-bin-hadoop2.4"

# Append pyspark  to Python Path

magigo

Ad Exchange

1. 目的，
2. 关键特征，用实时竞价的方式链接广告和上下文，用户
3. 按照展示收取费用
4. cookie mapping 三个核心问题，谁发起？在哪发起？谁存mapping表？

magigo

Trading Desk

1. 非RTB流量的ROI优化

2. 目标 给定总预算，再多广告网络中采买并优化ROI

3. 若干关键问题

   在合适的流量segment上投放广告

magigo

广告网络的特殊形式

1. 用户定向标签f(u)：远远弱于上下文影响，一般可以忽略
2. Sessin内的短期用户行为很重要

查询词扩展

1. 基于推荐的方法
2. 基于语义的方法

magigo

1. 长尾的(a,u,c)组合

2. Multi-arm Bandit问题

有限个arms，代表每一个a，每一个有有限的确定收益

目的是在每个时刻t，我们必须从arms中选择一个，最终目标是优化整体收益

3. 挑战 海量空间需要被探索，每个arm期望收益是动态变化的

magigo

1. L-BFGS，Quasi-Newton方法的一种，Hession阵要正定 将n x n的矩阵用另外一种方法近似

2. ADMM,减少迭代,拉格朗日的解法（augmented lagrangian）

magigo

1. p(click | a,u,c)
2. 回归(Regression)比排序(Ranking)更合适
3. cold-start，利用广告层级结构(creative,solution,campaign,advertiser)，以及广告标签对新广告点击率做预测
4. 捕获点击率的动态特性，快速调整特征，快速调整模型

视角1，逻辑回归是广义线性模型在Binomial error情形的特例

视角2，最大熵模型在类数目等于2的情形特例

magigo

paxos算法

magigo

可以视为query为a，对(u,c)进行检索，由于(u,c)联合空间过大，可以单独对u,c检索