Hello | LT's Blog

Self-attention

Transformer：seq2seq model with self-attention

内容来自李宏毅机器学习2019-视频课件概念简介 transformer: 一个有self-attention的seq2seq model bert: 无监督的训练的transformer 一，attention想要解决的是什么？我们要处理一个seq，自然想到RNN。而attention是一种代替RNN的做法。 RNN的问题以...

Posted by LT on April 19, 2020

Language model、Voice conversion

李宏毅《深度学习人类语言处理》国语(2020)

内容来自视频课件1 课件2 一，Language model 在语音识别里，为什么要Language model(LM)？ 👉估计一串token sequence出现的几率。在HMM中，$Y^{*}= arg \max_{Y} P(X|Y)P(Y)$。其中，P(Y)就是LM。节省收集资料的成本，提高ASR准确率...

Posted by LT on April 15, 2020

MLE在生成模型中的应用

MLE直接/间接地应用于GAN/flow的目标函数优化

一，GAN/flow优化目标的区别 A，极大似然估计(MLE)思想极大似然估计：假设真实数据分布服从$P_{data}$,生成数据服从$P_{G}$。现在，我们利用已知真实数据样本$ {x^1,…,x^m} \; from \; P_{data}(x) $，来反推最有可能（最大概率）导致这样结果的分布$P_{G}$的参数值θ。 \[θ^{*} = a...

Posted by LT on April 10, 2020

Speech Recognition

李宏毅《深度学习人类语言处理》国语(2020)

内容来自视频课件 PPT 1~15(part1), 16~49(part2), 50~end(part3) part1 前置知识：token、sample ASR要识别的token 音素（phoneme，比如音标）：缺点是需要lexicon。手写单位（grapheme，比如字母+标点符...

Posted by LT on March 27, 2020

听觉掩蔽效应

心理声学模型Ⅱ

本文旨在于梳理“心理声学模型Ⅱ” 中，掩蔽阈值的计算。一、概述阈值：被信号能量所掩蔽的最大失真能量。（来自AAC标准 P122）首先，在FFT的level上，计算bark带（临界频带）上的掩蔽阈值；对于bark带上的 FFT掩蔽阈值nb(b)的计算，考虑的因素有：其他bark频带对本频带的掩蔽作用，音调、非音调成分的掩蔽作用、安静听觉阈值的作用...

Posted by LT on January 29, 2020

信号处理基础知识

DSP

本文总结来自信号处理基础篇纯音：具有单一频率的正弦波。通常只能由音叉、电子器件或合成器产生，在自然环境下一般不会发生。复合音：由许多参数不同的正弦波分量叠加而成。我们在日常生活和自然界中听到的声音大多是复合音。傅里叶分析/频谱分析：纯音和复合音之间的互相合成与分解。基频（fundamental frequency）：复合音中，频率最低的正弦波（即整个波形...

Posted by LT on December 22, 2019

CS-229课程记录

机器学习

视频、讲义地址：吴恩达-机器学习-课程监督/非监督学习监督式：输出是连续：回归问题输出是离散(0/1)：分类问题非监督式：新闻话题检测线性回归线性回归中的代价函数，没有局部最优，只有全局最优。 “Batch”: 每一步梯度下降使用所有的训练样本。多变量线性回归的一些tricks：特征缩放...

Posted by LT on November 30, 2019

CS-230课程记录

深度学习

视频、讲义地址：吴恩达-深度学习-微专业在线笔记 auto-encoder 优化手段-预训练（pre-training）：合理初始化权重，避免出现局部最优解。逼近identity function的意义：对于监督式学习，得到的权重->特征转换，学习到数据的“特征表示” 对于非监督式学习，可以估计密度，排除不典型的数据（g(x)≠x）。学习到数据的“典型表...

Posted by LT on November 20, 2019

python常用操作(1)

绘图

例子一 import matplotlib.pyplot as plt lr_list = [0, 9, 8, 7, 6, 5, 4, 3, 2, 1] rl_list = [1,22,33,55,99,88,77,5,3] # 画图重要的两步：（1）plot（2）输出。savefig是输出到文件，show是输出到屏幕。 plt.title('this is ti...

Posted by LT on October 12, 2019

Linux操作

包括vim

vim 一般使用方法按i ESC :wq Linux DOS–> Linux格式 dos2unix 查看当前目录下，每个文件夹的大小 ` du -sh * ` 查看某个目录下，所有文件个数。 find images0/* -type f | wc -l 查看某个目录下，所有子目录个数。 find images0/* -type d | wc -l ...

Posted by LT on September 15, 2019

LT's Blog

Self-attention

Transformer：seq2seq model with self-attention

Language model、Voice conversion

李宏毅《深度学习人类语言处理》国语(2020)

MLE在生成模型中的应用

MLE直接/间接地应用于GAN/flow的目标函数优化

Speech Recognition

李宏毅《深度学习人类语言处理》国语(2020)

听觉掩蔽效应

心理声学模型Ⅱ

信号处理基础知识

DSP

CS-229课程记录

机器学习

CS-230课程记录

深度学习

python常用操作(1)

绘图

Linux操作

包括vim

FEATURED TAGS

ABOUT ME

FRIENDS