分類: 软件

youtube-dl

文章作者作者: 42
文章發佈日期 2018/11/24
在〈youtube-dl〉中尚無留言

Edit 221015: 如果遇到一些 youtube-dl 不支持的網址，可以嘗試用 yt-dlp，來下載，比如 arte.tv 的視頻。可以用傳統的 pip 安裝：pip install yt-dlp也可以直接允許可執行文件。使用方法類似 youtube-dl。

之前用過一些在線提取和轉換YouTube視頻的服務，近來發現這些提取或轉換的鏈接要求ip一致，那就無法用洋蔥網絡下載了。好在發現youtube-dl這麼個好工具，不僅能下載單集視頻還能下載視頻列表；不僅能單獨下載字幕還能把字幕合入視頻，非常強大。目前用的這幾個參數，記錄一下。

#安裝youtube-dl
sudo dnf install youtube-dl
##單個視頻下載
#查看可下載的視頻，注意audio only的視頻，沒有伴音的哦
youtube-dl https://www.youtube.com/watch?v=qU52CFGTGu0 -F
#下載編號為22的視頻
youtube-dl --proxy socks5://127.0.0.1:9150 qU52CFGTGu0 -f 22
#續傳中斷的視頻
youtube-dl --proxy socks5://127.0.0.1:9150 qU52CFGTGu0 -f 22 --continue
#列出所有字幕
youtube-dl --proxy socks5://127.0.0.1:9150 qU52CFGTGu0 --list-subs
#只下載字幕而不下載視頻
youtube-dl --all-subs --skip-download --proxy socks5://127.0.0.1:9150 https://www.youtube.com/watch?v=qU52CFGTGu0
#使用aria2搭配proxychains實現多進程下載
sudo dnf install aria2 proxychains-ng
proxychains4 youtube-dl -f mp4 --external-downloader aria2c --external-downloader-args '-c -j4 -x 4 -s 4 -k 5M' lW0ugxbtIEE
##視頻列表下載
#將視頻列表中的視頻連接輸出到文本文件
youtube-dl -j --flat-playlist "https://www.youtube.com/playlist?list=PLATwx1z00HsdanKZcTMQEc-n_Bhu_aZ76" | jq -r '.id' | sed 's_^_https://youtu.be/_' > list.log
#從文件里讀取視頻地址並下載，下載過的會保存於done.txt不會重複下載
youtube-dl -f mp4 --external-downloader aria2c --external-downloader-args '-c -j5 -x 5 -s 5 -k 10M --max-download-limit 1024k' --batch-file list.log --download-archive done.txt

#下載分辨率是 1080 的最佳畫質音視頻
yt-dlp --format "bv*[height=1080]+ba/b" qU52CFGTGu0
#舊電視或機頂盒可能不支持 VP90 視頻編碼以及 opus 音頻編碼
#或者不識別默認的 webm 視頻文件，這時可以選擇較舊的 avc1（h264） 視頻編碼和 mp4a 音頻編碼來解決
yt-dlp qU52CFGTGu0 -F
yt-dlp qU52CFGTGu0 -f 137+140

參考：youtube-dl批量下载时，跳过之前已经下载过的文件

Using yt-dlp in command line（網頁存檔）

本文更新於 2024/09/20。

標籤 linux, 软件

软件

AFWall+ 安卓可用的iptables

安卓手機如果root了，便可以通過AFWall+（Github項目地址）來使用iptables管控網絡。

在安卓上使用DNSCrypt

由於TCP旁路阻斷技術的應用，DNSCrypt已經不能為日常使用網絡帶來太多方便，所以僅僅是記錄一下使用方法而已。先安裝好AFWall+並根據自己的喜好定製軟件的聯網規則，然後啟用iptables。我們使用Termux來至執行iptabls命令。根據自己的手機系統下載dnscrypt-proxy，比如我的就是dnscrypt-proxy-android_arm64-2.0.17.zip。如果不知道自己的手機系統，可以運行uname -a，如果出現aarch64就跟我一樣下載android_arm64版本就行。下載後解壓到/data/data/com.termux/files/home/opt/dns目錄里。複製一份文件夾里的配置文件即cp example-dnscrypt-proxy.toml dnscrypt-proxy.toml就可以了，配置也可以參考Fedora使用DNSCrypt。下面的文件我是放在家目錄下的，文件名是dns.sh，記得加上執行權限。

remove127(){
  /system/bin/iptables -t nat -D OUTPUT -p tcp --dport 53 -j DNAT --to-destination 127.0.0.1:53&&/system/bin/iptables -t nat -D OUTPUT -p udp --dport 53 -j DNAT --to-destination 127.0.0.1:53&&/system/bin/iptables -t nat -D OUTPUT -d 114.114.114.114 -p tcp --dport 53 -j DNAT --to-destination 114.114.114.114:53&&/system/bin/iptables -t nat -D OUTPUT -d 114.114.114.114 -p udp --dport 53 -j DNAT --to-destination 114.114.114.114:53
}
add127(){
  /system/bin/iptables -t nat -I OUTPUT -d 114.114.114.114 -p tcp --dport 53 -j DNAT --to-destination 114.114.114.114:53&&/system/bin/iptables -t nat -I OUTPUT -d 114.114.114.114 -p udp --dport 53 -j DNAT --to-destination 114.114.114.114:53&&/system/bin/iptables -t nat -A OUTPUT -p tcp --dport 53 -j DNAT --to-destination 127.0.0.1:53&&/system/bin/iptables -t nat -A OUTPUT -p udp --dport 53 -j DNAT --to-destination 127.0.0.1:53
}
startDns(){
  /data/data/com.termux/files/home/opt/dns/dnscrypt-proxy -config /data/data/com.termux/files/home/opt/dns/dnscrypt-proxy.toml > /dev/null 2>1 &
  echo "starting dns"
  sleep 15
}
stopDns(){
  pkill dnscrypt-proxy
  echo "killed dns"
}
test(){
  var1=$(su -c "/system/bin/iptables -C OUTPUT -p tcp --dport 53 -j DNAT --to-destination 127.0.0.1:53")
}
status(){
  vt1="$(ps -ef | grep dnscrypt-proxy | wc -l)"
  if [[ $vt1 = "2" ]]; then
    dnsproxyStatus="1"
  else
    dnsproxyStatus="0"
  fi
  vt2="$(/system/bin/iptables -t nat -L | grep 127.0.0.1:53 | wc -l)"
  if [[ $vt2 = "2" ]]; then
    iptablesStatus="1"
  else
    iptablesStatus="0"
  fi
}
if [[ $1 = "1" ]]; then
  echo "start"      
  remove127              
  sleep 5                
  startDns       
  add127
elif [[ $1 = "2" ]]; then
  echo "restart"        
  remove127
  stopDns         
  sleep 3           
  startDns               
  add127 
elif [[ $1 = "0" ]]; then
  echo "stop"
  remove127
  stopDns
elif [[ $1 = "s" ]]; then
  status
  echo "dns: $dnsproxyStatus | iptables: $iptablesStatus"
else
  status
  if [[ $dnsproxyStatus = "1" ]]; then
    echo "$(date) dns ok" >> /data/data/com.termux/files/home/log.log
  else
    remove127
    stopDns
    remove127
    sleep 5
    startDns
    add127
    echo "$(date) dns started" >> /data/data/com.termux/files/home/log.log
  fi
  
fi

#使用說明
#首先切換的超級用戶
su
#查看當前狀態，1代表開啟，0代表關閉
./dns.sh s
#關閉dnscrypt-proxy
./dns.sh 0
#開啟dnscrypt-proxy
./dns.sh 1
#重新啟動dnscrypt-proxy
./dns.sh 2

啟動完成後可以通過dnsleaktest.com來查看當前的本機的dns。本來腳本還做了自啟動的適配，但是無論是Termux的自動啟動還是Magisk的自動啟動，都不太好用就算了。

本文更新於 2019/08/08。

標籤 Android, linux

软件

使用GnuPG加密文件

文章作者作者: 42
文章發佈日期 2018/07/05
在〈使用GnuPG加密文件〉中有 1 則留言

GnuPG加密情景

42想發送一條消息給55，並且這條消息只有55能看到。首先42和55都用GnuPG生成自己的公鑰和私鑰。然後55把公鑰交給42，公鑰怎麼傳遞都行，不需要保密。42使用自己的私鑰和55的公鑰來把消息加密，生成加密的消息發給55。55拿到加密的消息後用自己的私鑰解密即可看到原始消息。

安卓使用OpenKeychain

從F-Droid或Google Play下載OpenKeychain，導入已有證書（公鑰私鑰均可導入）或生成新的證書。然後通過二維碼或你喜歡的其他方式分享公鑰。發送者使用接收者的公鑰和自己的私鑰加密文件，然後發送加密文件給接收者，接收者用自己的私鑰解開文件。使用OpenKeychain，不僅可以方便的加密與解密文件和文本，更可與K-9 Mail搭配實現加密的郵件。

命令行使用GnuPG

Fedora似乎時預裝了GnuPG和GnuPG2，我們可以用gpg和gpg2來使用它。Termux可以使用pkg install gunpg，用法是一樣的，而且版本是最新版。Fedora26比最新版還差一個小版本。我樂於追新，所以這裡都用gpg2。順便提一下，GnuPG念做“格努皮即”。關於GNU有興趣的朋友可以到GNU作業系統與自由軟體運動了解下。

把證書從OpenKeychain導出並導入Fedora的GnuPG2

#手機上選擇要備份的證書，右上角菜單，備份證書
#抄下來44位密碼，勾選已抄下，按一下保存備份
#然後把生成的文件backup_YYYY-MM-DD.pgp傳送的Fedora
#在Fedora上備份文件的所在目錄執行
gpg2 --decrypt backup_YYYY-MM-DD.pgp | gpg2 --import
#按照提示輸入剛剛抄下來44位密碼
#列出已有的密鑰，最長那串就是ID
gpg2 --list-keys
#編輯密鑰
gpg2 --edit-key [ID]
#由於我們是物理傳輸過來的，所以不用對比指紋了，直接trust
trust
5
y
save
#這樣就可以了

使用 GnuPG2 加密和解密文件

#將 A.txt 加密
gpg2 --encrypt -r [email protected] A.txt
#可選參數還有
# --sign 加密者信息
# --armor 把文件加密成 ASCII 文件

#解密 A.txt.gpg
gpg --decrypt A.txt.gpg > A.txt

其他GnuPG2常用命令

##生成一對密鑰
gpg2 --full-generate-key
#密鑰種類默認RSA和RSA即可
#RSA密鑰長度默認2048即可
#過期日期默認0即永久，後面會講撤銷方法
#繼續輸入名字、郵箱和注釋
#然後就開始生成密鑰了，這時可以做些移動鼠標敲擊鍵盤的動作幫助程序獲取隨機數
#Termux可能要一兩分鐘，Fedora貌似20秒就搞定了
##導入導出刪除撤銷密鑰
#列出已有的密鑰
gpg2 --list-keys
#列出密鑰的指紋
gpg2 --fingerprint
#為密鑰生成撤銷證書
gpg2 --gen-revoke fred42 > revoke_fred42.txt
#導出一把公鑰，-a表示轉換為可打印字符
gpg2 --export -a fred42 > public.key
#導出一把私鑰，-a表示轉換為可打印字符
gpg2 --export-secret-key fred42 > private.key
#導入一把密鑰
gpg2 --import public.key
#刪除一把公鑰
gpg2 --delete-key fred42
#刪除一把私鑰
gpg2 --delete-secret-key fred42
##使用密鑰服務器上傳搜索與下載公鑰
#Please blame the wall

我的公鑰指紋：F296 FC4F B714 BA14 6366 FEDF 15F7 F20A 33D8 3525和公鑰：

使用GnuPG生成隨機密碼

生成一個16位的隨機密碼

gpg2 --gen-random -a 0 16 | head -c 16

也可將下面代碼存為password.sh,運行./password.sh 16來獲得。

#!/bin/bash
if [ $# -eq 0 ]
then echo "請指定待生成密碼的長度"
else gpg2 --gen-random -a 0 $1 | head -c $1
echo ""
fi

本文更新於 2020/10/30。

標籤软件

软件

使用ExifTool處理文件元數據

ExifTool是一款由Phil Harvey開發的獨立於平台的命令行工具，用於處理文件的元數據，例如照片的拍攝日期等。Fedora可以通過下面命令安裝使用。

#安裝ExifTool
sudo dnf install perl-Image-ExifTool
#把DIR文件夾中的文件的拍攝日期增加4小時
exiftool "-DateTimeOriginal+=4" DIR
# -overwrite_original 可不產生.JPG_original原始文件
#修改後會產生.JPG_original原始文件，新文件較原始文件小是因為ExifTool壓縮了Exif信息
#如果修改日期有誤，可以通過這個命令恢復圖片原始文件
for file in *.JPG_original;do mv "$file" "$(basename "$file" .JPG_original).JPG"; done
#Linux重命名DIR文件夾中的名字為拍攝日期
exiftool -overwrite_original -d %y%m%d_%H%M%S%%-c.%%e "-filename<DateTimeOriginal" DIR
#Windows重命名DIR文件夾中的名字為拍攝日期
"D:\Program Files\portable\exiftool.exe" -d %y%m%d_%H%M%S%%-c.%%e "-filename<DateTimeOriginal" E:\Image\DIR
#Windows中重命名DIR文件夾中的mov視頻名字為拍攝日期
"D:\Program Files\portable\exiftool.exe" -ext mov -d %y%m%d_%H%M%S%%-c.%%e "-filename<DateTimeOriginal" E:\Image\DIR
#Windows中重命名DIR文件夾中的gopro拍攝的mp4視頻名字為拍攝日期
"D:\Program Files\portable\exiftool.exe" -ext mp4 -d %y%m%d_%H%M%S%%-c.%%e "-filename<MediaCreateDate" E:\Image\DIR

#查看MOV文件中的可用時間標籤
"D:\Program Files\portable\exiftool.exe"  -time:all -a -G0:1 -s  E:\Image_55\DIR\LA090570.MOV
#清除當前文件夾中所有exif數據
exiftool -all= *

##GPS 相關
#以 json 方式輸出所有 gps 相關標籤
exiftool -struct -j -a -n "-gps*" E:\Image\a.JPG
#把照片的位置設置爲 GCJ-02 座標系統，並指定經緯度
exiftool -exif:gpsmapdatum=GCJ-02 -exif:gpslatitude=22.12345 -exif:gpslongitude=114.12345 E:\Image\a.JPG

本文更新於 2021/05/10。

標籤软件

软件

開放街圖與MAPS.ME

文章作者作者: 42
文章發佈日期 2018/02/23
在〈開放街圖與MAPS.ME〉中尚無留言

OpenStreetMap 是由製圖者社群所建立，他們提供及不斷更新包括有關世界各地的道路、路徑、咖啡館、火車站等等的資料。地方知識、社群推動、開放資料是它的特點。得益於社群推動，OpenStreetMap 很可能擁有更新更準確的資訊，這點我在深圳、香港、日本、意大利旅行時有深切的感受。如果沒有 OpenStreetMap 我的多數旅行都不可能那麼順利而有趣！有興趣參與的朋友可以參考 learnOSM 的教程。

MAPS.ME 是一款開源的離線地圖應用，地圖數據來自 OpenStreetMap 。有蘋果版和安卓版供下載。由於 OpenStreetMap 並不提供移動客戶端，所以我之前都是使用 MAPS.ME，預先將目的地的地圖下載好就可以使用了。它提供的路徑規劃功能雖不能說完美，但是已經很不錯了，步行和騎行路徑還有海拔變化，對於行山真的很有用。MAPS.ME 提供了簡單的添加地點的功能，登入 OpenStreetMap 賬號即可為 OpenStreetMap 作貢獻，不過如果想專業地添加地理資訊，還是通過網頁版 OpenStreetMap 來操作比較好。

Maps 是 MAPS.ME 的一個複製，在原版的基礎上添加了路徑追蹤和自定義書籤功能。之前由於 MAPS.ME 拒絕在主要位置添加數據來源爲 OpenStreetMap 而被很多用戶投訴，這也是我使用 Maps 的一個原因，然而還是由於 MAPS.ME 的問題，Maps 現在的版本 10.2.0 有兩個很麻煩的問題。這兩個問題可以根據 App stuck in download at startup 的方法來解決，我簡單記錄下。

備份下儲存卡中的 /MapsWhithMe 文件夾，書籤與記錄都在這裡。
在手機的設置->應用-> Maps 中，強制停止應用，然後清理數據和緩存。
前往 http://opensource-data.mapswithme.com/regular/weekly/ 下載所有的 .ttf 文件以及 World.mwm 和 WorldCoasts.mwm。我還需要廣東省地圖，所以還要下載 China_Guangdong.mwm 。
清空手機上的 /MapsWhithMe 文件夾，然後把剛剛下載的除了 China_Guangdong.mwm 之外的文件複製進去。
把 WorldCoasts.mwm 複製一份，並改名為 WorldCoasts_obsolete.mwm （同樣是放在 /MapsWhithMe 文件夾）。
啟動 Maps，給予權限後稍等片刻即可看到世界地圖已正確加載。
關閉 Maps，把需要的之前備份的 .kml 文件複製回 /MapsWhithMe 文件夾，書籤就回復了。另外可以看到 MapsWhithMe 文件夾中有了一以日期為名字的文件夾，把 China_Guangdong.mwm 放進去，就可以正常使用了。

另一問題是每次打開 Maps，都會有一個煩人的引導需要點擊一次。目前已知的一種辦法是安裝一下 MAPS.ME，點掉引導，卸載 MAPS.ME。之後 Maps 就也不會出現了。但是這個做法不是很理想，我沒有試，希望下個版本可以解決這個問題吧。

除了 Maps，其實還有一款離線地圖 OsmAnd~，但是 OsmAnd 的圖層顯示不如 MAPS.ME 的直觀，不知道是不是先入為主看習慣的原因。對於步行路線的規劃，無論是操作複雜程度以及規劃結果，感覺上也都不如 MAPS.ME。不過還是可以推薦大家試試，畢竟沒有 Maps 那樣需要複製來複製去的操作。

20210923 更新：MAPS.ME 後來被出售給了一家商業公司，新公司糟糕的運營導致 MAPS.ME 在谷歌市場惡評如潮。就我個人使用而言，幾乎已經無法繼續使用。在此期間，由於上游的變動 Maps 最終也停止更新了。OsmAnd 用了一段時間，但是還是覺得很多方面有待提高，尤其是徒步的導航。終於我發現 MAPS.ME 的開發者們開發了另一款離線地圖應用 Organic Maps，沒有任何廣告，尊重隱私，開源而好用的離線地圖又回來了！

本文更新於 2021/09/23。

標籤推荐, 软件

使用 espeak 來發音

使用 Speech Dispatcher 來發音