대용량 데이터셋 wget으로 우분투에 한번에 받기

LibriSpeech, Libri-Light, Multilingual LibriSpeech (MLS) 등...

 

나 같은 경우는 윈도우에서 다운받아서 그것을 작업 서버로 옮겨야하는,

 

굉장히 비효율적인 그런 행동을 자주 하곤 했다.

 

국내 AIHUB 데이터셋은 이런식으로 다운받아야해서 얼마나 짜증나는지 모르겠다. 

 

게다가 연구실에 대용량 데이터셋 다운받게 되면 전체적으로 인터넷도 느려지고,

 

MobaXterm으로 옮기다 보면 도중에 죽는 경우도 많아서 정말 짜증나는 일이다.

 

오늘 예시로 해볼것은 우분투에서 wget을 사용하여 LibriSpeech (http://www.openslr.org/12) 의 dev-clean.tar.gz 을 다운받아보겠다.

 

아래는 해당 사이트 그림인데

 

 

여기에서 왼쪽 최하단의 부분을 보면 주소가 제공된다.

 

 

https://www.openslr.org/resources/12/dev-clean.tar.gz 

 

그다음 wget https://www.openslr.org/resources/12/dev-clean.tar.gz 하면 끝난다

 

우분투 내 실행화면은 아래와 같다

 

 

음 정말 간단하다

 

이렇게 하면 3TB 짜리 Libri-Light 받는 것도 부담 없겠다.

 

AIHUB 데이터셋은 특정 프로그램을 이용해서 다운받아야 되는데 정말 짜증나는 일이다. 

 

얼른 고쳐주면 좋겠다.