model.fit(X_train, y_train, epochs=2, verbose=1, validation_split=0.9, shuffle=True)
validation_split 并不会随机抽取验证集，而是直接取数据的最后 10% （validation_split=0.9时）shuffle 是在 validation_split 之后进行的结论：样本分布不均匀的时候最好事先手动 shuffle，然后再用 validation_split 取验证集，不要依赖 Keras 自带的 shuffle
算是第 1 次参加 kaggle 比赛，也是第一次参加 NLP 方向的比赛，虽然最后只拿到了前 7% 的成绩，但是收获还是很多的。
Toxic Comment Classification Challenge
这个比赛要求建立一个多分类器，检测不同类型的负面评论
集成学习（Ensemble learning）通过组合几种模型（学习器）来完成学习任务，也被称为多分类器系统（multi-classifier system）、基于委员会的学习（committee-based learning）等。
集成学习中要求个体学习器的准确率至少不差于弱学习器（弱学习器指泛化性能略优于随机猜测的学习器），并且个体学习器之间要有多样性（diversity）。即 好而不同。
翻译一篇 Blog：Twitter Sentiment Analysis Using Combined LSTM-CNN Models
实现源码：github
Paper（好像没发表）
其实 LSTM-CNN 的模型结构我在论文《Recurrent Convolutional Neural Networks for Text Classification》（笔记）里已经看到过了，但是论文的 CNN 部分把我搞得有点晕，而这篇 Blog 的描述方式的更浅显，另外还专门比对了一下 LSTM 和 CNN 在模型中的放置顺序问题，结果非常有趣并且很合理。另外就是 Kaggle 的 Toxic 比赛里专门有人提到这篇 Blog，所以我翻译了一下，方便回看。
用深度学习框架的时候老是看到 tensor，决定仔细的研究一下这是个什么。
张量是一种表示物理量的方式，这个方式就是用基向量与分量组合表示物理量（Combinationof basis vector and component）。
Rank 为 0 的叫标量；Rank 为 1 的叫向量，也叫 1 阶张量；Rank 为 2 的叫矩阵，也叫 2 阶张量。Rank 再往上就是 4，5，6 … 阶张量。
RNN（Recurrent Neural Networks，循环神经网络）相较于传统神经网络，允许了信息的持久化，即神经元的输出可以在下一个时间戳直接作用到自身。
传统神经网络对下面两种情况无法很好的处理
RNN的链式结构决定了它适用于时序相关问题，更能够很好的应对上面的两种情况
arxiv
University of Washington、Microsoft Research
2016.04
这篇文章在 github 上有开源实现（SimpleQA），虽然是 lua 的
使用 character-level encoder-decoder 框架解决了 3 个问题，得到了超过 word-level NN 模型的效果。