·
编程学习 ·
11161
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了非常多人的关注。
因为 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上添加了这个工具包的神奇感。一些按捺不住的人于是选择了通过解剖源码的方式来一窥到底，出于好奇，我也成为了他们中的一员。
读完代码后，认为收获颇多，整理成文，给有须要的朋友參考。
相关链接
（一）文件夹和前言
（二）预备知识
（三）背景知识
（四）基于 Hierarchical Softmax 的模型
（五）基于 Negative Sampling 的模型
（六）若干源代码细节
作者: peghoty
出处: http://blog.csdn.net/itplus/article/details/37998797
欢迎转载/分享, 但请务必声明文章出处.
word2vec 中的数学原理具体解释（五）基于 Negative Sampling 的模型的相关教程结束。
sklearn-genetic的GASearchCV是最稳妥起点，它封装交叉变异等底层逻辑，支持Continuous、Integer、Categorical三类参数自动处理、并行CV评估、早停与可复现性。 直接用sklearn-genetic是最稳妥的起点，它把交叉、变异、种群演化这些底层逻辑全封装...
使用onnx2torch将ONNX模型（如Pangu-Weather）转换为PyTorch可训练模型后，其返回对象是GraphModule类型，不可下标访问（如tm[0]），但支持标准nn.Module接口——直接调用tm.parameters()即可遍历所有可学习权重。 使用`onnx2torch...
PyTorch中只保存权重应使用torch.save(model.state_dict(),path)，而非torch.save(model,path)；后者保存完整模型（结构+权重+优化器状态），体积大、有安全风险且版本兼容性差；加载权重前必须先实例化结构完全一致的模型，并调用load_state...
BlockingConnection因单线程同步模型导致basic_consume阻塞于start_consuming()，消息串行处理，受PythonGIL限制无法并行dispatch回调，吞吐受限；须改用SelectConnection等异步适配器获取事件循环控制权，解耦消息分发与业务处理。 单...
绝大多数情况下模型训练慢是因Python循环导致伪向量化，必须改用NumPy矢量化操作（如arr+1、arr[arr>0]），避免for循环、list.append、math函数逐元素调用；衔接PyTorch时应使用torch.as_tensor而非torch.tensor，并确保数据为C-c...
NumPy运算更快的关键在于绕过Python解释器开销、使用连续内存与向量化指令，而非单纯“用了C”；小数组易受缓存未命中和初始化开销影响，需保持数据连续、类型单一、操作可并行。 NumPy运算比Python原生list快，不是因为“它用了C”，而是因为它绕过了Python解释器的运行时开销，并把计...
根本原因是训练与线上特征计算逻辑不一致，如feature_cnt_30d离线用HiveSQL、线上用Python手算，导致时间窗口、过滤条件、空值处理等全部错位。 线上模型报错找不到特征，根本原因不是代码写错了，而是训练和线上用的特征压根不是同一套计算逻辑——feature_cnt_30d在离线是H...
asyncio.Queue更适合异步场景，因其put/get是原生协程，支持await且不阻塞eventloop；而queue.Queue是同步阻塞的，会导致协程卡死。 asyncio.Queue为什么比普通queue.Queue更适合异步场景 因为queue.Queue是线程安全的阻塞式队列，所有...
