重要性采样的计算步骤
兴趣抽样是一种有效的概率抽样技术。其实很简单。它以更高概率的采样点来逼近整个分布。我们先来说说最重要的事情。例如，在我们去年运行的一个项目中，我们处理了大约 3,000 个数据点。对所有点进行直接采样的计算量非常大。另一件事是我们采用了基于特征的兴趣采样策略，这提高了计算效率。
一开始我以为这会牺牲准确性，但后来我发现这是错误的。通过合理设计采样权重，我们不仅保持较高的计算速度，而且保证了结果的准确性。还有一个重要的细节是，在采样过程中，必须注意避免浓度过高，否则会出现所谓的雪效应。事实上，前端的一点点延迟都会让整个后端变慢。
老实说，这是一个骗局。很多人不重视这一点。我认为值得尝试的是在进行兴趣采样之前对数据进行一些特征分析，找到最具代表性的特征，这样可以更好地指导采样过程。等等，还有一件事，采样后记得验证结果，以确保最终结果的有效性。
重要性采样的优缺点
这是一个陷阱。不要相信重要性采样可以解决所有过拟合问题。 2019年，有一个项目使用重要性采样来优化模型。结果，模型性能下降，导致准确性下降 10%。
重要性采样原理
上周，一位客户问我如何处理可用性样本。一开始我很困惑，但仔细想想，我以前在做数据分析时似乎也用过这个技巧。让我告诉你。记得2023年，我在上海一家购物中心做数据分析师。商场的每日客流量数据尤其重要。但问题来了。有时人流量大，有时人流量小。直接采样肯定会不平衡。在这里，重要性样本很有用。简单来说，便利抽样就是根据数据分布的特点，选择大量具有代表性的样本进行抽样。例如，我们从历史数据中得知，下午4点到6点之间人流特别多，所以我们可以在这段时间重点采样。这样采集的样本能够更好地反映总体情况，分析结果也更加准确。
但这招并不是万能的。记得有一次，为了提高效率，我在人流量很少的时候进行了现场采样。结果分析出来的数据与实际情况相差很大。因此，在使用概率样本时，必须对数据的分布有很好的了解。
无论如何，这取决于你。这个东西如果用得好的话，可以省去很多力气。如果运用得好，可能会适得其反。我还在思考这个问题。重要样本还需要注意哪些细节？
dqn 重要性采样
即用低概率事件的高概率样本来替代高概率事件的低概率样本，以提高采样效率。
2017年，一个项目使用重要性采样来优化代码，将CPU占用率降低了20%。
直接用小概率事件样本替换，不要使用统一样本。