织梦CMS - 轻松建站从此开始!

罗索

kaldi 在 Windows 下的使用

jackyhwei 发布于 2020-01-02 19:42 点击:次 
其实不是特别推荐在 Windows 下使用 kaldi,因为在 egs 下所有的脚本都无法运行,我也是弄了很久才在 Windows 下配置好 kaldi,都一度差点弃坑。
TAG: kaldi  

其实不是特别推荐在 Windows 下使用 kaldi,因为在 egs 下所有的脚本都无法运行,我也是弄了很久才在 Windows 下配置好 kaldi,都一度差点弃坑。就连官方也说 There is no commitment to support Windows. The Windows port of Kaldi is targeted at experienced developers who want to program their own apps using the kaldi libraries and are able to do the troubleshooting on their own. 就让我来把坑填平那么一点点吧

kaldi 在 Windows 下的安装

工具准备

  • git
  • cmake
  • Visual Studio 2017

vs2017 要注意安装 win8.1 SDK,如果已经安装了 vs2017,也可以在上方的菜单栏中的工具 -> 获取工具和功能中来查看是否有安装。git 和 cmake 的安装没有什么特别的,就不做介绍了。

编译 Openfst

首先从 github 上将 openfst clone 下来。然后这里用 cmake 的方式来先编译出 vs 的工程文件,具体操作方法如下:

  1. git clone https://github.com/kkm000/openfst.git 
  2. cd openfst 
  3. mkdir build64 
  4. cd build64 
  5. cmake -G "Visual Studio 15 2017 Win64" ../ 

如果这一步成功会显示以下提示:

  1. -- The C compiler identification is MSVC 19.11.25547.0 
  2. -- The CXX compiler identification is MSVC 19.11.25547.0 
  3. -- Check for working C compiler: C:/Program Files (x86)/Microsoft Visual Studio/2017
  4. /Community/VC/Tools/MSVC/14.11.25503/bin/Hostx86/x64/cl.exe 
  5. -- Check for working C compiler: C:/Program Files (x86)/Microsoft Visual Studio/2017
  6. /Community/VC/Tools/MSVC/14.11.25503/bin/Hostx86/x64/cl.exe -- works 
  7. -- Detecting C compiler ABI info 
  8. -- Detecting C compiler ABI info - done 
  9. -- Check for working CXX compiler: C:/Program Files (x86)/Microsoft Visual Studio/2017
  10. /Community/VC/Tools/MSVC/14.11.25503/bin/Hostx86/x64/cl.exe 
  11. -- Check for working CXX compiler: C:/Program Files (x86)/Microsoft Visual Studio/2017
  12. /Community/VC/Tools/MSVC/14.11.25503/bin/Hostx86/x64/cl.exe -- works 
  13. -- Detecting CXX compiler ABI info 
  14. -- Detecting CXX compiler ABI info - done 
  15. -- Detecting CXX compile features 
  16. -- Detecting CXX compile features - done 
  17. -- The following ICU libraries were not found: 
  18. --   data (required) 
  19. --   i18n (required) 
  20. --   io (required) 
  21. --   test (required) 
  22. --   tu (required) 
  23. --   uc (required) 
  24. -- Failed to find all ICU components (missing: ICU_INCLUDE_DIR ICU_LIBRARY
  25.  _ICU_REQUIRED_LIBS_FOUND) 
  26. -- Could NOT find ZLIB (missing: ZLIB_LIBRARY ZLIB_INCLUDE_DIR) 
  27. -- Configuring done 
  28. -- Generating done 
  29. -- Build files have been written to: C:/Users/jtrmal/Documents/openfst/build64 

成功后会在 build64 目录下面生成一个 openfst.sln 文件,用 vs2017 打开这个文件,分别用 Debug|x64 和 Release|x64 来生成一遍,如下图,如果失败为 0 则代表编译通过。

配置 OpenBLAS

首先也是从 github 上先将 kaldi clone 下来

  1. git clone https://github.com/kaldi-asr/kaldi.git kaldi 

然后我们就需要去配置线性代数库,这里有两个选择,一个是 Intel MKL,一个是 OpenBLAS。这里我选用 OpenBLAS。用下面的命令来下载 OpenBLAS 的二进制包(在 kaldi/tools 目录下):

  1. curl -L -O http://sourceforge.net/projects/openblas/files/v0.2.14/OpenBLAS-v0.2.14-Win64-int32.zip 
  2. unzip OpenBLAS-v0.2.14-Win64-int32.zip 

注意这里要下载 Win64-int32 版本,而不是 Win64-int64 版本

修改配置文件

进入 kaldi/windows 路径想,将 varialbe.props.dev 复制一份重命名为 variables.props,打开后将刚刚配置好的库修改为自己的路径:

  1. <!-- Change the following paths so they are correct on your machine --> 
  2. <!-- Do not modify anything before this line --> 
  3. <MKLDIR>C:Program Files(x86)IntelSWToolscompilers_and_librarieswindowsmkl</MKLDIR> 
  4. <OPENBLASDIR>C:UsersYendaDownloadskaldi-svn oolsOpenBLAS-v0.2.14-Win64-int32</OPENBLASDIR> 
  5. <OPENFST>C:UsersjtrmalDocumentsopenfst</OPENFST> 
  6. <OPENFSTLIB>C:UsersjtrmalDocumentsopenfstuild64</OPENFSTLIB> 
  7. <!-- Do not modify anything after this line --> 

我们需要将 OpenBLAS 和 Openfst 修改为自己的路径,因为没有用到 MKL 就不用修改了。下面就是我修改后的路径:

  1. <!-- Change the following paths so they are correct on your machine --> 
  2. <!-- Do not modify anything before this line --> 
  3. <MKLDIR>C:Program Files(x86)IntelSWToolscompilers_and_librarieswindowsmkl</MKLDIR> 
  4. <OPENBLASDIR>D:git_homekaldi oolsOpenBLAS-v0.2.14-Win64-int32</OPENBLASDIR> 
  5. <OPENFST>D:git_homeopenfst</OPENFST> 
  6. <OPENFSTLIB>D:git_homeopenfstuild64</OPENFSTLIB> 
  7. <!-- Do not modify anything after this line --> 

产生工程文件

同样还是在 kaldi/windows 路径下,因为我们是使用 OpenBLAS 所以就把 kaldiwin_openblas.props 复制一份重命名为 kaldiwin.prosp。然后在 windows 路径下用 git bash 运行以下命令:

  1. ./generate_solution.pl --vsver vs2017 --enable-openblas 
  2. ./get_version.pl 

kaldi 编译测试

然后我们打开在 kaldi/kaldiwin_vs2017_OPENBLAS 这个新生成的文件夹,打卡里面的 kaldiwin_vs2017.sln 工程文件,这里面就包括了所有 kaldi/src 中 * bin 中的. cc 文件。这时候需要来测试一下 kaldi 能否运行,首先要把 Debug|Win32 改为 Debug|x64,然后右键选择 online2-wav-nnet2-latgen-faster 生成,如下图,如果生成成功则代表之前的工作都做对啦,kaldi 已经配置好了✌️~exe 文件会生成在 kaldiwin_vs2017_OPENBLAS/x64/Debug 中,不过当用命令行来运行刚刚生成的 exe 文件时,还是有可能会报错,如缺少 dll 等,解决方法见常见问题。

kaldi 在 Windows 下的调试

新建自己的 kaldi 项目

在配置好 kaldi 之后,就可以开始调试和编写自己的使用 kaldi 的程序了。不过原来的 kaldi 项目中有 630 个项目或者称为解决方案,每次打开都要加载很久。所以我们可以新建一个空项目:

添加引用

然后点击左上角文件 -> 添加 -> 现有项目,切换到 kaldi/kaldiwin_vs2017_OPENBLAS/kaldiwin 路径下。

最好把所有以 kaldi 开头的项目都添加进去(点进去具体的文件夹,添加. vcxproj 文件),包含 test 的不用。不过如果你清楚你用的项目要用到哪些具体的引用,那么只添加特定的项目即可。那么要怎么看需要用到那些引用呢,这时就要回到之前那个包含 630 个项目的 vs 中去。

比如说我想要提取 mfcc 特征,就可以去看看 compute-mfcc-feats 这个项目中以用了那些项目,然后在自己的项目提取 mfcc 特征项目中,也要以用相同的项目,那么就把对应的项目添加到自己的项目中,如下图:

添加工程属性表

配置好引用还需要我们去添加刚才配置好的 vs 工程属性表,点开左上菜单栏中的视图 -> 其他窗口 -> 属性管理器。

然后在自己的项目的 Debug|64 中添加 variables.props kaldiwin.props openfst_debug.props(如果要 release 则添加对应的 release 版本)

修改附加包含目录

还差一步就大功告成,首先要在自己的项目中添加一个 cpp 文件,然后右键属性 ->C/C++-> 所有选项 -> 附加包含目录,需要把 kaldi/src 目录添加进去

配置好之后,就可以写自己的调用 kaldi 的程序了,之后也可以按照这样的方式来。总结一下:

  • 在当前项目中文件 -> 添加 -> 新建项目
  • 添加需要用到的引用
  • 添加已经配置好的工程属性表
  • 最后把 kaldi/src 添加到附加包含目录就可以了
  • 另外要记住调试模式要切换成 Debug|x64

写自己的 kaldi 程序

如果想写自己的调用 kaldi 的程序要怎么开始呢,最好的办法就是去看 run.sh 中用到了哪些命令,然后在看命令中 C++ 代码是怎么做的。以提取 mfcc 特征为例,在声纹识别中,一般都是下面几条命令用来提取 mfcc 特征:

  1. # run.sh 
  2. # Now make MFCC features. 
  3. # mfccdir should be some place with a largish disk where you 
  4. # want to store MFCC features. 
  5. mfccmfccdir=mfcc 
  6. for x in train test; do 
  7.   steps/make_mfcc.sh --cmd "$train_cmd" --nj 10 data/$x exp/make_mfcc/$x $mfccdir 
  8.   sid/compute_vad_decision.sh --nj 10 --cmd "$train_cmd" data/$x exp/make_mfcc/$x $mfccdir 
  9.   utils/fix_data_dir.sh data/$x 
  10. done 

具体的提取 mfcc 的特征程序就在 steps/make_mfcc.sh 中了

  1. # make_mfcc.sh 
  2. $cmd JOB=1:$nj $logdir/make_mfcc_${name}.JOB.log  
  3.   extract-segments scp,p:$scp $logdir/segments.JOB ark:- |  
  4.   compute-mfcc-feats $vtln_opts --verbose=2 --config=$mfcc_config ark:- ark:- |  
  5.   copy-feats --compress=$compress $write_num_frames_opt ark:-  
  6.   ark,scp:$mfccdir/raw_mfcc_$name.JOB.ark,$mfccdir/raw_mfcc_$name.JOB.scp  
  7.   || exit 1; 

里面具体提取 mfcc 特征的命令就应该是 steps/make_mfcc.sh 了,看下 make_mfcc.sh,在经过一系列处理后,使用 compute-mfcc-feat 这个命令来提取 mfcc 特征的。我们就可以去看在 featbin 下的 compute-mfcc-feat.cc 中是如何提取 mfcc 特征的,下面就贴上我的提取 mfcc 并写入一个 txt 文件的代码:

  1. #include<iostream> 
  2. #include<fstream> 
  3. #include"feat/feature-mfcc.h" 
  4. #include"feat/wave-reader.h" 
  5. #include"base/kaldi-math.h" 
  6. #include"matrix/kaldi-matrix-inl.h" 
  7. #include"matrix/kaldi-vector.h" 
  8.  
  9. int main(int argc,char * argv[]){ 
  10.     try { 
  11.         using namespace kaldi;   //要记住使用namespace kaldi 
  12.         const char * Usage = 
  13.             "my_kaldi.exe [wav_filename] [mfcc_filename]  "
  14.          
  15.         ParseOptions po(Usage); 
  16.         po.Read(argc, argv); 
  17.         if (po.NumArgs() != 2) { 
  18.             po.PrintUsage(); 
  19.             exit(1); 
  20.         } 
  21.         std::string wav_filename = po.GetArg(1); 
  22.         std::string mfcc_filename = po.GetArg(2); 
  23.  
  24.         /*读取wav文件*/ 
  25.         std::ifstream wav_file; 
  26.         wav_file.open(wav_filename, std::ios_base::binary); 
  27.         WaveData wave; 
  28.         wave.Read(wav_file); 
  29.         SubVector<BaseFloat> waveform(wave.Data(), 0);//将wav文件数据放到waveform中 
  30.                
  31.         /*mfcc特征配置*/ 
  32.         MfccOptions mfcc_opts; 
  33.         mfcc_opts.frame_opts.samp_freq = 16000
  34.         mfcc_opts.frame_opts.frame_length_ms = 25
  35.         mfcc_opts.frame_opts.frame_shift_ms = 10
  36.         mfcc_opts.frame_opts.preemph_coeff = 0.95; 
  37.  
  38.         /*提取mfcc特征*/ 
  39.         Matrix<BaseFloat> mfcc_feature; 
  40.         Mfcc feat(mfcc_opts); 
  41.         feat.ComputeFeatures(waveform, wave.SampFreq(), 1.0, &mfcc_feature); 
  42.                
  43.         /*写入到文件中*/ 
  44.         WriteKaldiObject(mfcc_feature,mfcc,false); 
  45.         //kaldi中都可以使用WriteKaldiObject来写使用到的kaldi对象 
  46.     } 
  47.         
  48.     catch (const std::exception &e) { 
  49.         std::cerr << e.what(); 
  50.         return -1; 
  51.     }    
  52.     return 0; 

kaldi 模型的读取

在 windows 上跑 kaldi,不可避免地会用到 kaldi 中的 I/O 接口,比如读取在 Linux 下已经训练好的模型等。kaldi 中的模型往往都是一个类,比如说声纹识别中用到的 UBM 类 FullGmm,提取 ivector 的 IvectorExtractor 等等,对于这些类的提取都可以用 ReadKaldiObject 来完成

  1. using namespace kaldi; 
  2. FullGmm fgmm;                           //首先要声明想要读取的模型的类 
  3. std::string ubmFile = "final.ubm";    //然后确定文件名 
  4. ReadKaldiObject(ubmFile, &fgmm); 

对于其他的模型,也可以通过类似的方法来读取到内存中。如果想把模型等写出来也可以通过 WriteKaldiObject 来完成。

kaldi 在 Windows 下的移植

此处的移植指的是能够使 kaldi 在一台没有开发环境下的电脑中正常运行。刚开始要做的时候感觉可能会有各种的坑,不过实际中做要比想象中简单得多,如果上面配置基本没什么问题,移植的话也就没什么问题了。

生成 exe

生成 exe 其实很简单,在每次 Debug 的时候都会自动生成一个可执行文件,不过要想在一个没有开发环境的电脑上使用,要用 Release 来重新生成一下。我们可以用 main(int argc, char * argv[]) 来读取命令行的参数,然后可以用 ParseOptions po(Usage); 来控制输入的参数,具体参考上面提取 mfcc 的代码,这里就不做过多的介绍了。在移植过程中还遇到的一个问题就是缺少一些 dll,主要是 mingw 的一些 dll,解决方法见下面遇到的问题。

生成 dll

如果想生成 dll 打包给其他程序用,就需要在头文件中想要导出的函数的前面加上 declspec(dllexport),并且右键右侧的项目属性栏,把常规中的项目默认值 -> 配置类型改为动态库(.dll)

遇到的问题记录

cmake 生成 Openfst 工程文件失败

根据错误提示,应该是缺少了 fst_test.h weight-tester.h algo_test.h,在 openfst/src 目录下搜索这几个文件,发现都在 openfstsrcinclude st est 中,于是把几个文件都复制过来,然后再执行那条 cmake 的命令,就可以成功了~。

缺少 libopenblas.dll

当在命令行或 git bash 中运行生成好的 exe 时,会报错缺少 libopenblas.dll:

我们需要将之前下载的 OpenBLAS 中 bin 目录下的 libopenblas.dll 拷到和 exe 文件同一个文件夹中就可以执行了。

mingw dll 下载

包括 libgcc_s_seh-1.dll libgfortran-3.dll libquadmath-0.dll,下载后同样需要放到和 exe 同一目录下。

  1. curl -L -O http://sourceforge.net/projects/openblas/files/v0.2.14/mingw64_dll.zip 
  2. unzip mingw64_dll.zip 

参考资料

官方 Windows 下安装指南:
https://github.com/kaldi-asr/kaldi/blob/master/windows/INSTALL.md
一个中文的安装说明:
https://www.jianshu.com/p/5494d6607789
Windows 下安装常见的问题:
https://blog.csdn.net/qq_25867649/article/details/78356474?locationNum=8&fps=1
kaldi 中 IO 接口介绍:
http://kaldi-asr.org/doc/io.html

(yutouwd)
本站文章除注明转载外,均为本站原创或编译欢迎任何形式的转载,但请务必注明出处,尊重他人劳动,同学习共成长。转载请注明:文章转载自:罗索实验室 [http://www.rosoo.net/a/202001/17609.html]
本文出处:github 作者:yutouwd 原文
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
栏目列表
将本文分享到微信
织梦二维码生成器
推荐内容