Wget là một tiện ích dòng lệnh có thể được sử dụng để tải xuống hầu hết mọi thứ có sẵn trên internet. Điều hấp dẫn là nó phải có sẵn trên các giao thức HTTP, HTTPS hoặc FTP; nếu không, Wget sẽ không thể tải xuống. Có một số cách mà Wget có thể được sử dụng, ví dụ: bạn có thể sử dụng Wget để tải xuống mọi hình ảnh trên trang web hoặc bạn cũng có thể tải xuống một tệp. Wget thậm chí có khả năng tiếp tục tải xuống, khi có thể. Vì vậy, nếu bạn đang tự hỏi làm thế nào Wget hoạt động và những gì nó có thể làm cho bạn, thì đây là cách sử dụng Wget :
Cài đặt Wget
1. Cài đặt Wget trên macOS Sierra
Trước khi bắt đầu sử dụng Wget, chúng tôi sẽ cần cài đặt nó trên hệ thống của chúng tôi. Bây giờ, may mắn thay, hầu hết các bản phân phối Linux đều được cài đặt sẵn Wget, vì vậy bạn sẽ không phải thực hiện thêm bất kỳ công việc nào. Tuy nhiên, nếu bạn đang dùng Mac, bạn sẽ phải cài đặt Wget. Điều này có thể được thực hiện dễ dàng bằng cách sử dụng Homebrew (tải xuống). Nếu bạn cần bất kỳ trợ giúp, đây là các bước bạn sẽ cần phải làm theo:
- Đầu tiên, bạn sẽ phải cài đặt Homebrew trên máy Mac của mình, để có thể tải xuống Wget. Để thực hiện việc này, chỉ cần khởi chạy Terminal và gõ lệnh sau:
/ usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"
- Sau khi lệnh hoàn thành, Homebrew sẽ được cài đặt trên hệ thống của bạn. Bây giờ bạn có thể sử dụng Homebrew để cài đặt các gói, chẳng hạn như Wget. Trong Terminal, chỉ cần chạy lệnh sau:
bia cài đặt wget
- Homebrew sẽ tự động bắt đầu tải xuống, giải nén và cài đặt Wget trên hệ thống của bạn. Bước này có thể mất một chút thời gian, tùy thuộc vào tốc độ mạng của bạn, vì vậy hãy kiên nhẫn. Khi lệnh hoàn thành, bạn sẽ có thể sử dụng Wget trên máy Mac của mình. Để kiểm tra xem nó đã được cài đặt chưa, chỉ cần sử dụng lệnh:
wget -V
2. Cài đặt Wget trên Windows
Cài đặt Wget trên Windows tốn nhiều công sức hơn một chút nhưng có thể dễ dàng thực hiện. Nếu bạn muốn cài đặt Wget trên PC Windows của mình, chỉ cần làm theo các bước dưới đây:
- Đầu tiên, tải xuống Cygwin, sau đó chạy tệp cài đặt đã tải xuống .
- Khi nó yêu cầu nguồn tải xuống mặc định, hãy chọn tùy chọn cho biết Cài đặt cài đặt từ Internet, và nhấp vào trên Next Next.
- Chọn một thư mục cài đặt cho Cygwin, cũng như một thư mục nơi nó sẽ lưu các tệp gói để cài đặt các tiện ích.
- Trong màn hình tiếp theo, bạn được yêu cầu chọn kết nối internet của mình. Nếu bạn đang sử dụng Proxy, hãy chọn loại Proxy đó và điền thông tin chi tiết. Tuy nhiên, đối với hầu hết người dùng, sự lựa chọn sẽ là Kết nối trực tiếp .
- Sau đó, bạn sẽ được hiển thị một danh sách các gương, chọn bất kỳ trong số này để tải xuống Cygwin. Nếu tải xuống thất bại, bạn có thể thử lại với một gương khác.
- Trong cửa sổ tiếp theo, tìm kiếm trên mạng wget, và nhấp vào dấu cộng bên cạnh web web trong danh sách xuất hiện. Tại đây, hộp kiểm bên cạnh wget wget sẽ được chọn tự động. Đơn giản chỉ cần nhấp vào trên Next Next.
- Màn hình tiếp theo sẽ hiển thị cho bạn các gói cần tải xuống. Chỉ cần nhấp vào Tiếp theo.
- Sau khi cài đặt hoàn tất, bạn sẽ được hỏi nếu bạn muốn tạo biểu tượng trên màn hình và / hoặc thêm một mục vào menu bắt đầu . Đây hoàn toàn là vấn đề sở thích cá nhân, nhưng tôi khuyên bạn ít nhất nên thêm nó vào menu bắt đầu, để bạn có thể tìm thấy nó dễ dàng.
Đó là nó. Wget hiện được cài đặt trên PC Windows của bạn. Tuy nhiên, bạn sẽ không thể chạy nó từ dấu nhắc lệnh. Thay vào đó, bạn sẽ phải khởi chạy Cygwin Terminal và sử dụng Wget từ đó .
Cách sử dụng Wget
Bây giờ chúng ta đã có Wget và chạy trên hệ thống của mình, hãy khám phá tất cả các cách hay mà chúng ta có thể sử dụng Wget để tải xuống các tệp, thư mục và thậm chí toàn bộ trang web từ internet. Dưới đây là một vài điều thú vị bạn có thể làm với Wget trên hệ thống của mình.
Lưu ý : Tôi đang sử dụng Wget trên MacBook Air chạy macOS Sierra 10.12.3 beta. Tuy nhiên, vì tiện ích chúng tôi đang sử dụng là giống nhau (Wget), nên các lệnh sẽ giống nhau trên bất kỳ hệ điều hành nào bạn có thể đang sử dụng Wget trên.
1. Sử dụng Wget để tải xuống tệp
Bạn có thể sử dụng Wget để tải xuống các tệp từ internet một cách dễ dàng. Chỉ cần sử dụng lệnh sau
wget
- Tải xuống một tệp và lưu nó với một tên tệp cụ thể
Các tệp trên máy chủ đôi khi có những tên kỳ lạ nhất và bạn có thể muốn tải xuống tệp và để Wget tự động đổi tên nó thành một cái gì đó có ý nghĩa hơn đối với bạn. Để làm điều này, chỉ cần sử dụng lệnh sau
wget -o
- Chỉ tải xuống các loại tệp cụ thể
Một máy chủ web có thể đang lưu trữ một số tệp khác nhau. Vậy, điều gì sẽ xảy ra nếu bạn chỉ muốn tải xuống tất cả các tệp PDF trên máy chủ hoặc có thể tất cả các GIF? Chỉ cần sử dụng lệnh sau:
wget -r -A pdf
Lệnh đặc biệt này đã được Mark Zuckerberg đưa vào sử dụng trong phòng ký túc xá Harvard của mình, để tải xuống tất cả các hình ảnh chỉ bằng một lệnh và xây dựng trang web khét tiếng trên mặt Facmash.com.
wget -r -A jpg, jpeg, png, bmp
2. Tải xuống tệp từ nhiều URL với Wget
Giả sử bạn cần tải xuống các tệp từ một số vị trí khác nhau trên internet. Có thể có một tệp PDF trên url1, một tệp ZIP quan trọng trên url2 và một cái gì đó khác trong url3 . Nếu bạn đã sử dụng Wget theo cách truyền thống, bạn sẽ phải chạy nó ba lần. Tuy nhiên, có một cách dễ dàng hơn nhiều để làm điều này.
- Đầu tiên, tạo một tệp có tất cả các URL bạn cần để tải xuống dữ liệu. Hãy chắc chắn rằng bạn giữ mỗi URL trong dòng riêng của nó . Lưu tệp và đảm bảo bạn nhớ tên.
- Trong Terminal, sử dụng lệnh sau để tải xuống các tệp từ tất cả các URL:
wget -i
trong đó, tập tin của Cameron là tên của tập tin bạn đã tạo với tất cả các URL bạn cần để tải xuống từ đó.
3. Tải xuống toàn bộ trang web với Wget
Bạn đã đọc đúng. Bạn cũng có thể sử dụng Wget để tải xuống nội dung của toàn bộ trang web. Rõ ràng, nếu trang web quá lớn, lệnh này sẽ mất rất nhiều thời gian để hoàn thành, chưa kể rằng nó sẽ ngốn rất nhiều dung lượng trên hệ thống của bạn. Điều đó nói rằng, nếu bạn muốn sử dụng Wget để tải xuống toàn bộ trang web, chỉ cần sử dụng lệnh sau:
wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL
Điều này sẽ tải xuống toàn bộ trang web, vào một thư mục LỘC ĐỊA PHƯƠNG-TRỰC TIẾP trong thư mục làm việc của bạn. Các tập tin của trang web sẽ được lưu trữ trong một thư mục có cùng tên với trang web, nhờ vào TRANG WEB WEBSITE-URL .
4. Sử dụng Wget như một Spider Web
Bạn cũng có thể làm cho Wget hoạt động như một trình thu thập dữ liệu web (hoặc một con nhện web). Điều này hữu ích khi bạn muốn xác nhận rằng URL cho tệp bạn muốn tải xuống là hợp lệ . Để sử dụng Wget như một trình thu thập dữ liệu trên web và kiểm tra tính hợp lệ của các URL, chỉ cần sử dụng lệnh sau:
wget - người dùng
Điều này sẽ kiểm tra xem URL bạn đã đề cập có tồn tại hay không và bạn sẽ nhận được phản hồi cho bạn biết kết quả kiểm tra.
- Phản ứng tích cực:
- Phản ứng tiêu cực:
5. Tiếp tục tải xuống không đầy đủ
Đây là một điều thực sự tuyệt vời mà Wget có thể làm. Giả sử bạn đang tải xuống một tệp với Wget, nhưng vì một số lý do, bạn phải tắt máy tính xách tay của mình. Lần tới khi bạn muốn thử tải xuống cùng một tệp, Wget thực sự có thể tiếp tục tải xuống cho bạn. Bạn chỉ cần đảm bảo rằng bạn đang ở trong cùng thư mục mà bạn đã tải xuống tệp lần trước và sau đó sử dụng lệnh sau:
wget -c
Khi Wget thấy rằng một phần của tệp đã có trong hệ thống của bạn, nó sẽ tự động tiếp tục tải xuống.
Lưu ý : Nếu tệp trên máy chủ đã bị thay đổi kể từ lần cuối bạn cố tải xuống, thì bạn không nên sử dụng lệnh này, vì nó sẽ dẫn đến một tệp bị hỏng mà bạn sẽ không thể đọc được.
Ngoài ra, nếu máy chủ không cho phép tải xuống liên tục, thì Wget sẽ từ chối bắt đầu tải xuống từ đầu. Nếu bạn muốn bắt đầu tải xuống từ đầu, trước tiên bạn sẽ phải xóa tệp được tải xuống một phần khỏi hệ thống của bạn .
Có một số điều kiện nữa để sử dụng đối số này và bạn có thể đọc thêm về nó trên trang Wget man.
6. Giới hạn tốc độ tải xuống
Nếu bạn đang sử dụng Wget để tải xuống các tệp và duyệt internet cùng với nó, có lẽ bạn sẽ không muốn tất cả băng thông của mình được sử dụng bởi Wget. May mắn thay, Wget bao gồm một đối số mà bạn có thể sử dụng để giới hạn lượng băng thông mà Wget có thể sử dụng để tải xuống các tệp trên hệ thống của bạn:
wget --limit-Rate =
Lưu ý : Hãy nhớ rằng tốc độ được đề cập trong Byte chứ không phải Bits. Vì vậy, nếu bạn sử dụng WgetTHERlimit-Rate = 20k, nó sẽ giới hạn mức sử dụng băng thông ở mức 20 kB chứ không phải 20 kb.
7. Sử dụng Wget để tải xuống tệp từ máy chủ FTP
Nếu bạn cần tải xuống một tệp từ máy chủ FTP, bạn cũng có thể làm điều đó với Wget. Chỉ cần sử dụng lệnh sau để tải xuống các tệp từ máy chủ FTP:
wget
- Tải xuống tệp từ máy chủ FTP bằng Đăng nhập
NẾU máy chủ FTP của bạn yêu cầu đăng nhập để cho phép tải xuống các tệp, bạn cũng có thể chuyển thông tin đăng nhập bằng Wget. Chỉ cần sử dụng lệnh sau:
wget --ftp-username = USERNAME --ftp-password = PASSWORD
Dễ dàng sử dụng Wget để tải tập tin từ Internet
Bạn có thể sử dụng Wget để tải xuống các tệp từ bất kỳ đâu trên internet. Tuy nhiên, trong khi Wget hầu như luôn hoạt động, có một số máy chủ nhất định ngăn truy cập vào Wget, trong trường hợp đó, bạn có thể thử thay đổi tác nhân của Trình điều khiển cho lệnh Wget của mình. Tuy nhiên, đó không phải là một quá trình hành động được đề xuất, trừ khi bạn hoàn toàn biết bạn đang làm gì. Đối với hầu hết các phần, Wget sẽ cho phép bạn tải xuống bất kỳ tệp nào từ internet, miễn là bạn có quyền truy cập vào nó và URL của nó.
Vì vậy, bạn đã bao giờ sử dụng Wget để tải xuống các tập tin từ internet? Hãy cho chúng tôi biết về trải nghiệm của bạn khi sử dụng Wget để tải xuống các tệp, qua các giao thức HTTP, HTTPS và FTP. Ngoài ra, nếu bạn biết một số cách sử dụng Wget khác mà bạn cho rằng xứng đáng có trong danh sách này, hãy cho chúng tôi biết về chúng trong phần bình luận bên dưới.
