wget 유틸리티를 사용하면 Linux 명령 행을 사용하여 웹에서 웹 페이지, 파일 및 이미지를 다운로드 할 수 있습니다.
하나의 wget 명령을 사용하여 사이트에서 다운로드하거나 입력 파일을 설정하여 여러 사이트에서 여러 파일을 다운로드 할 수 있습니다.
매뉴얼 페이지에 따르면 wget은 사용자가 시스템에서 로그 아웃 한 경우에도 사용할 수 있습니다. 이를 수행하려면 nohup 명령을 사용하십시오.
wget 유틸리티는 연결이 끊어 지더라도 다운로드를 다시 시도하고 가능한 경우 연결이 복원 될 때 중단 된 위치에서 다시 시작합니다.
wget을 사용하여 전체 웹 사이트를 다운로드하고 링크를 로컬 소스를 가리 키도록 변환하여 웹 사이트를 오프라인으로 볼 수 있습니다.
wget의 기능은 다음과 같습니다.
- HTTP, HTTPS 및 FTP를 사용하여 파일 다운로드
- 다운로드 다시 시작
- 다운로드 한 웹 페이지의 절대 링크를 상대 URL로 변환하면 웹 사이트를 오프라인으로 볼 수 있습니다.
- HTTP 프록시 및 쿠키 지원
- 지속적인 HTTP 연결 지원
- 로그온하지 않아도 백그라운드에서 실행할 수 있습니다.
- Linux 및 Windows에서 작동합니다.
wget을 사용하여 웹 사이트를 다운로드하는 방법
이 가이드에서는 개인 블로그를 다운로드하는 방법을 보여 드리겠습니다.
wget www.everydaylinuxuser.com
mkdir 명령을 사용하여 컴퓨터에 자신의 폴더를 만든 다음 cd 명령을 사용하여 폴더로 이동하는 것이 좋습니다.
예 :
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
결과는 단일 index.html 파일입니다. 이 파일은 콘텐츠가 여전히 Google에서 가져오고 이미지와 스타일 시트는 모두 Google에 보관되므로이 파일 자체는별로 쓸모가 없습니다.
전체 사이트 및 모든 페이지를 다운로드하려면 다음 명령을 사용하십시오.
wget -r www.everydaylinuxuser.com
이렇게하면 최대 5 단계까지 재귀 적으로 페이지를 다운로드 할 수 있습니다.
5 단계의 깊이는 사이트에서 모든 것을 얻는 데 충분하지 않을 수 있습니다. 다음과 같이 -l 스위치를 사용하여 이동할 레벨 수를 설정할 수 있습니다.
wget -r -l10 www.everydaylinuxuser.com
무한 재귀를 원할 경우 다음을 사용할 수 있습니다.
wget -r -l inf www.everydaylinuxuser.com
inf를 동일한 것을 의미하는 0으로 대체 할 수도 있습니다.
여전히 문제가 하나 더 있습니다. 모든 페이지를 로컬로 가져올 수 있지만 페이지의 모든 링크는 여전히 원래 위치를 가리 킵니다. 따라서 페이지의 링크간에 로컬로 클릭 할 수 없습니다.
이 문제를 해결하려면 -k 스위치를 사용합니다.이 스위치는 페이지의 모든 링크를 다음과 같이 로컬로 다운로드 한 해당 링크를 가리 키도록 변환합니다.
wget -r -k www.everydaylinuxuser.com
웹 사이트의 전체 미러링을 원한다면 -r -k 및 -l 스위치를 사용할 필요가없는 다음 스위치를 사용하면됩니다.
wget -m www.everydaylinuxuser.com
그러므로 자신 만의 웹 사이트가 있다면이 간단한 명령 하나를 사용하여 완전한 백업을 만들 수 있습니다.
백그라운드 명령으로 wget 실행
wget이 백그라운드 명령으로 실행되도록하면 파일을 다운로드하는 동안 터미널 창에서 작업 할 수 있습니다.
다음 명령을 사용하십시오.
wget -b www.everydaylinuxuser.com
물론 스위치를 결합 할 수 있습니다. 사이트를 미러링하는 동안 백그라운드에서 wget 명령을 실행하려면 다음 명령을 사용하십시오.
wget -b -m www.everydaylinuxuser.com
다음과 같이 이것을 더 간단하게 할 수 있습니다 :
wget -bm www.everydaylinuxuser.com
벌채 반출
백그라운드에서 wget 명령을 실행중인 경우 화면에 보내는 일반 메시지는 표시되지 않습니다.
tail 명령을 사용하여 언제든지 진행 상황을 확인할 수 있도록 모든 메시지를 로그 파일로 보낼 수 있습니다.
wget 명령의 정보를 로그 파일로 출력하려면 다음 명령을 사용하십시오.
wget -o / path / to / mylogfile www.everydaylinuxuser.com
반대로, 로깅을 전혀 요구하지 않고 화면에 출력하지 않아도됩니다. 모든 출력을 생략하려면 다음 명령을 사용하십시오.
wget -q www.everydaylinuxuser.com
여러 사이트에서 다운로드
여러 사이트에서 다운로드 할 입력 파일을 설정할 수 있습니다.
가장 좋아하는 편집기 또는 cat 명령을 사용 하여 파일을 열고 단순히 파일의 각 줄에서 다운로드 할 사이트 또는 링크 목록을 시작하십시오.
파일을 저장 한 후 다음 wget 명령을 실행하십시오.
wget -i / path / to / inputfile
자신의 웹 사이트를 백업하거나 열차에서 읽으려는 것을 다운로드하는 것 외에도 전체 웹 사이트를 다운로드하는 것은 거의 불가능합니다.
이미지가있는 단일 URL을 다운로드하거나 zip 파일, ISO 파일 또는 이미지 파일과 같은 파일을 다운로드 할 가능성이 큽니다.
이 점을 염두에두면 다음과 같이 입력 파일에 시간을 들여 입력하지 않아도됩니다.
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
기본 URL이 항상 같을 것이라는 것을 알고 있으면 입력 파일에 다음을 지정할 수 있습니다.
- file1.zip
- file2.zip
- file3.zip
그런 다음 다음과 같이 기본 URL을 wget 명령의 일부로 제공 할 수 있습니다.
wget -B http://www.myfileserver.com -i / path / to / inputfile
다시 시도 옵션
입력 파일에서 다운로드 할 파일 대기열을 설정하고 파일을 다운로드하기 위해 컴퓨터를 밤새 운영하는 상태로두면 아침에 내려와 첫 번째 파일에 머물렀다는 사실을 알게 될 것입니다. 밤새 다시 시도하고있다.
다음 스위치를 사용하여 재시도 횟수를 지정할 수 있습니다.
wget -t 10 -i / path / to / inputfile
위 명령을 -T 스위치와 함께 사용하여 다음과 같이 시간 초과를 초 단위로 지정할 수 있습니다.
wget -t 10 -T 10 -i / path / to / inputfile
위의 명령은 10 번 재 시도하고 파일의 각 링크에 대해 10 초 동안 연결을 시도합니다.
연결이 끊어 질 때까지 느린 초고속 인터넷 연결에서 4 기가 바이트 파일의 75 %를 부분적으로 다운로드했을 때도 상당히 성가시다.
다음 명령을 사용하여 wget을 사용하여 다운로드를 중단 한 곳부터 다시 시도 할 수 있습니다.
wget -c www.myfileserver.com/file1.zip
서버를 망치로 잡는 경우 호스트는 너무 좋아해서 요청을 차단하거나 그냥 죽일 수도 있습니다.
다음과 같이 각 검색 사이의 대기 시간을 지정하는 대기 기간을 지정할 수 있습니다.
wget -w 60 -i / path / to / inputfile
위의 명령은 각 다운로드 사이에 60 초를 기다립니다. 단일 소스에서 많은 파일을 다운로드하는 경우에 유용합니다.
그러나 일부 웹 호스트는 빈도를 파악할 수 있으며 어쨌든 차단할 수 있습니다. 대기 시간을 임의로 만들면 다음과 같이 프로그램을 사용하지 않는 것처럼 보입니다.
wget - 랜덤 - 대기 - i / 경로 / to / inputfile
다운로드 제한 보호
많은 인터넷 서비스 제공 업체가 광대역 사용량에 대한 다운로드 제한을 적용합니다 (특히 도시 외 거주하는 경우).
다운로드 한도를 초과하지 않도록 할당량을 추가 할 수 있습니다. 당신은 다음과 같은 방법으로 그것을 할 수 있습니다 :
wget -q 100m -i / path / to / inputfile
-q 명령은 단일 파일과 작동하지 않습니다.
따라서 크기가 2 기가 바이트 인 파일을 다운로드하는 경우 -q 1000m을 사용하면 파일 다운로드가 중지되지 않습니다.
할당량은 사이트에서 반복적으로 다운로드하거나 입력 파일을 사용할 때만 적용됩니다.
보안 검색
일부 사이트에서는 다운로드하려는 콘텐츠에 액세스 할 수 있도록 로그인해야합니다.
다음 스위치를 사용하여 사용자 이름과 암호를 지정할 수 있습니다.
wget --user = yourusername --password = yourpassword
다중 사용자 시스템에서 ps 명령을 실행하면 사용자 이름과 암호를 볼 수 있습니다.
기타 다운로드 옵션
기본적으로 -r 스위치는 컨텐츠를 반복적으로 다운로드하고 디렉토리를 생성합니다.
다음 스위치를 사용하여 모든 파일을 단일 폴더로 다운로드 할 수 있습니다.
wget -nd -r
이것의 반대는 다음 명령을 사용하여 수행 할 수있는 디렉토리 생성을 강제하는 것입니다.
wget -x -r
특정 파일 형식을 다운로드하는 방법
사이트에서 재귀 적으로 다운로드하려고하지만 mp3 나 png 같은 이미지와 같은 특정 파일 형식 만 다운로드하려는 경우 다음 구문을 사용할 수 있습니다.
wget -A "* .mp3"-r
이것의 반대는 특정 파일을 무시하는 것입니다. 아마도 당신은 실행 파일을 다운로드하고 싶지 않을 것입니다. 이 경우 다음 구문을 사용합니다.
wget -R "* .exe"-r
클리 게
cliget이라는 Firefox 부가 기능이 있습니다. 다음과 같이 Firefox에 추가 할 수 있습니다.
https://addons.mozilla.org/en-US/firefox/addon/cliget/를 방문하여 "Firefox에 추가"버튼을 클릭하십시오.
표시되면 설치 버튼을 클릭하십시오. Firefox를 다시 시작해야합니다.
cliget을 사용하려면 다운로드하려는 페이지 나 파일을 방문한 다음 마우스 오른쪽 버튼을 클릭하십시오. 컨텍스트 메뉴가 cliget이라고 나타나고 "wget에 복사"및 "컬에 복사"옵션이 있습니다.
"wget에 복사"옵션을 클릭하고 터미널 창을 연 다음 마우스 오른쪽 버튼을 클릭하고 붙여 넣습니다. 적절한 wget 명령이 창에 붙여 넣어집니다.
기본적으로 명령을 직접 입력하지 않아도됩니다.
개요
엄청난 수의 옵션과 스위치 인 wget 명령.
따라서 터미널 창에 다음을 입력하여 wget의 매뉴얼 페이지 를 읽는 것이 좋습니다.
남자 wget