我的学习小屋

简介 原问题 \begin{array}{ll}{\min } & {f(x)+g(z)} \\ {\text { s.t }} & {A x+B z=c}\end{array} $p^*$为原始优化问题的最优值 $p^{*}=i n f\{f(x)+g(z) | A x+B z=c\}$ 增广拉格朗日形式： $L_{\rho}(x, z, \lambda)=f(x)+g(z)+\lambda^{T}(A x+B z-c)+(\rho / 2)|A x+B z-c|_{2}^{2}$ 迭代 \begin{array}{l}{ x^{k+1}:=\underset{x}{\operatorname{argmin}} L_{\rho}\left(x, z^{k}, \lambda^{k}\right)} \\ {z^{k+1}:=\underset{z}{\operatorname{argmin}} L_{\rho}\left(x^{k+1}, z, \lambda^{k}\right)} \\ {\lambda^{k+1}:=\lambda^{k}+\rho\left(A ...

马尔可夫链是一种随机过程 随机变量$X$只能取有限个、可数个值，$\{0,1,2, \cdots\}$ $P\left\{X_{n+1}=j | X_{n}=i, X_{n-1}=i_{n-1}, \cdots, X_{1}=i_{1}, X_{0}=i_{0}\right\} =P_{i j}$ 过去与将来无关 定义 $\forall i, j \in S, P\left\{X_{n+1}=j | X_{n}=i\right\} \triangleq p_{i j}(n)$称为$n$时刻的一步转移概率，

更新过程可以看作是泊松过程的推广 泊松过程：$X_n=S_n-S_{n-1}$独立服从$\lambda$的指数分布 更新过程：$X_n$服从一般分布 定义 $\left\{X_{n}, n=1,2, \cdots\right\}$为非负的随机变量，有共同的分布$F$，$F(0)= P\left\{X_{n}=0\right\}<1$ $X_n$理解为第$n-1$与$n$个事件之间的时间，$\mu=E\left[X_{n}\right]=\int_{0}^{\infty} x d F(x)$ $N(t)=\sup \left\{n: S_{n} \leqslant t\right\}$称为更新过程 性质 $\lim _{n \rightarrow \infty} \frac{S_{n}}{n}=\mu \quad(\text { a.s. })$ 推论：$P\left(\lim _{n \rightarrow \infty} S_{n}=\infty\right)=1$ $m(t)=\sum_{n=1}^{\infty} F_{n}(t)<\infty \quad ...

bagging有个很大的缺点，就是树相关性太强了。 随机森林在bagging的基础上，削弱了变量之间的相关性 在分类树的构造上： $(Y_i,X_{i1},\cdots,X_{ip})\quad i=1,\dots,n$ 每次分裂时，从所有变量（$p$个）随机选$m$个出来 从$m$个变量中选择最佳的分裂方法 分类：$\mathrm{m}=\lfloor\sqrt{p}\rfloor$ 回归：$\mathrm{m}=\lfloor p / 3\rfloor$ 特征重要性： 每一棵决策树，用它的OOB样本计算误差，记为errOOB1 对某个特征（也就是某个$\vec X_i$）加入噪声处理，再计算errOOB2 求和$\sum (errOOB2-errOOB1)/B$ 123456library(randomForest) # 这个R包可以处理NA值fit = randomForest(class~., data = , na.action = na.omit)varImpPlot(fit)# 速度更快的R包，但是不能处理NA值library(ranger)fi ...

决策树只是生成了一颗树，可能会有较高的错分率 那么生成多棵树，就变成了森林，这就是bagging（随机森林的前身） bagging = Bootstrap + aggregating 要生成多课树（如B棵树），那么每棵树都需要样本，然而我们只有一个数据集$(Y_i,X_{i1},\cdots,X_{ip})\quad i=1,\dots,n$ 这里就需要用到重抽样Bootstrap Bootstrap 对于统计量总体分布未知的情况，通过对原始样本重复抽样得到统计量的经验分布，从而近似总体分布 从数据集中随机抽取样本，有放回，抽取的数量与原始样本大小一致，即随机有放回的抽出n份样本 抽出n份样本算作一次Bootstrap抽样 重复Bootstrap抽样B次，也就生成了B份数据集 out-of-bag（OOB）概念：在一次Bootstrap抽样中，原始数据集中没有被抽到的样本。当样本$n$很大的时候，某个样本没有被抽到的概率为： \left(1-\frac{1}{n}\right)^{n}=\frac{1}{\left(\frac{n}{n-1}\right)^{n} ...

随机森林是基于决策树的分类方法 随机森林的思路是一步一步提升的：决策树 $\rightarrow $ bagging $\rightarrow$ 随机森林 决策树什么是决策树 有$n$份样本$(Y_i,X_{i1},\cdots,X_{ip})$，这里$i= 1,\dots, n$，样本有$p$个特征 对于某一份样本，通过$X_1 \cdots X_p$的各种抉择，最终得到结果$\hat{Y}=f(X)$ 下图为网络上找到一张示意图，$X=${女票，陪女票，任务，吃鸡} 另一个简单的图，以两个$X = {X_1,X_2}$为例 ​ 这里可以理解为，树将样本的特征空间（$X$的空间）划分成了几个不同的部分，每个部分对应一个结果 如何生成树 结点的分裂方式（$n$份样本）： $X$是连续型、有序的离散型：每个结点有$n-1$种可能的分裂方法 $X$是无序的离散型：每个结点有$2^{n-1}-1$种可能的分裂方法 不同的分裂方法，选择某个分裂方法的标准： $Y$是连续性（就是回归模型）：均方误差 $Y$是离散型（分类模型）：不纯度 不纯度的概念： $Y$有 ...

定义$\{N(t), t \geqslant 0\}$为泊松过程要满足下面四个条件： $N(0)=0$且为计数过程 独立增量过程：$\forall 0<t_{1}<t_{2}<\cdots<t_{n}$，有$N\left(t_{1}\right), N\left(t_{2}\right)-N\left(t_{1}\right), \cdots, N\left(t_{n}\right)-N\left(t_{n-1}\right)$相互独立 增量平稳性：$\forall s, t \geqslant 0, n \geqslant 0, P[N(s+t)-N(s)=n]=P[N(t)=n]$ $\forall t>0$和充分小的$\Delta t>0$，有$\left\{\begin{array}{l}{P[N(t+\Delta t)-N(t)=1]=\lambda \Delta t+o(\Delta t)} \\ {P[N(t+\Delta t)-N(t) \geqslant 2]=o(\Delta t)}\end{array}\right.$ 补 ...

我的随机过程学得很差，所以再学一遍并认真写课后作业 基本概念什么是随机过程 每一个固定的$t$，$X(t,\omega)$是随机变量，$X_T=\{X(t,\omega),t\in T\}$为随机过程，也即随机变量族 $T$是指标集，离散、连续都可以 状态空间：$X_T$所有可能的取值 分类 独立增量过程 $t_{1}<t_{2}<\cdots<t_{n}, t_{i} \in T, 1 \leqslant i \leqslant n$，有$X\left(t_{1}\right), X\left(t_{2}\right)-X\left(t_{1}\right), X\left(t_{3}\right)-X\left(t_{2}\right), \cdots, X\left(t_{n}\right)-X\left(t_{n-1}\right)$相互独立 平稳增量：$0 \leqslant s<t$有$X(t)-X(s)$的分布只依赖于$t-s$ 马尔可夫过程：将来与过去无关 $P\left(X_{t} \in A | X_{t_{1}}=x_{1} ...

什么是信度分析 信度（Reliability），即可靠性，指采用同样的方法对同一对象重复测量时所得结果的一致性程度 三种系数表示信度分析的指标： 稳定系数（跨时间的一致性） 等值系数（跨形式的一致性） 内在一致性系数（跨项目的一致性） 四种测量方法 重测信度法：隔一段时间再测一次 复本信度法：同时测两次（答两份问卷） 折半信度法：调查项目分两半 α信度系数法：常用的是克朗巴哈系数，即所有可能的项目划分方法的得到的折半信度系数的平均值 ​ $k$为题目数量 \alpha = \frac{k}{k-1} (1-\frac{\sum S_i ^2}{S_T ^2}) 半信度的修正方法 R语言 123456789101112131415161718192021222324252627282930313233library(psych)data(attitude) rating complaints privileges learning raises critical advance1 43 ...