海事船员多模态数据集

船员，睡眠质量，焦虑，疲劳

自定义协议，非商业可用

Big-data节点

莫海淼、刘子豪维护

船员在执行长远航任务过程中受随浪颠簸、 密闭环境、 震动噪声、 昼夜节律改 变、 饮食单调、 远离社会等严峻健康威胁， 易触发营养、 疾病、 疲劳、 抑郁、 认知 等多维度的身心健康风险。其中包含量表信息如下：

访问地址

PS服务器：/home/ps/outmounts/data2/MoHaimiao/Dataset_HaiShi_project/

配置方式

1. 视频中提取语音：
   1. 安装依赖项：pip install moviepy
   2. python实现代码：

       from moviepy.editor import *
       video = VideoFileClip('test1.mp4')
       audio = video.audio
       audio.write_audiofile('test1.mp3')
      

2. 音频中分离人声：

   1. 文件目录：

        \sound_separation\output
        \sound_separation\pretrained_models\2stems   (2stems预训练模型)
        \sound_separation\pretrained_models\4stems   (4stems预训练模型)
      

   2. 安装依赖项参考https://github.com/deezer/spleeter，具体操作如下：

        # install dependencies using conda
        conda install -c conda-forge ffmpeg libsndfile
        # install spleeter with pip
        pip install spleeter
      

   3. 安装好依赖项之后，在命令行模式下，切换到/sound_separation目录，执行以下指令：

        # separate the example audio into two components
        spleeter separate -p spleeter:4stems -o output -i test.mp3 # command指令
        # test.mp3文件需要根据实际情况修改文件名，该文件在主目录sound_separation
        # -o output：输出路径output为当前路径下的子目录；也可以为绝对路径
        # -i test.mp3：也可以是绝对路径下的音频文件
      

      或者执行以下python代码：

        import os
        command = 'spleeter separate -p spleeter:4stems -o output -i test.mp3'
        os.system(command)
      

   4. 如果出现加载模型有误，很有可能是没有下载spleeter的2stems/4stems预训练模型， 因此需要从网上搜索”4stems.tar.gz”或者“2stems.tar.gz”并下载预训练模型， 解压之后，放在对应的/pretrained_models/2stems或者/pretrained_models/4stems目录下，即可解决问题。 该问题的debug参考deezer/spleeter#306
      1. 2stems预训练模型下载地址:https://github.com/deezer/spleeter/releases/download/v1.4.0/2stems.tar.gz
      2. 4stems预训练模型下载地址:https://github.com/deezer/spleeter/releases/download/v1.4.0/4stems.tar.gz
3. 行为特征提取：openface 2.0工具包，包含：AUs+头部位姿+眼睛注视特征
4. iPPG提取: 参考physformer的代码 https://github.com/ZitongYu/PhysFormer
5. 文本特征提取：bert预训练模型 https://huggingface.co/bert-base-uncased/tree/main

Benchmarks

自建数据集：无

小组论文