微剋多資訊

 找回密碼
 註冊

Login

Login

搜索
回覆 0則 瀏覽 2055篇

[教學] 深入列舉(搜尋)資料夾 / 檔案 - part 1

該用戶從未簽到

發表於 2012-11-2 22:57 | 顯示全部樓層 |閱讀模式
本帖最後由 rictirse 於 2012-11-5 23:23 編輯

這問題大概只存在於中小型專案以上,雖用 AutoIt 完成,實際費時不少,但這問題本身就必須花很多時間,所以大概不會有人繼續在意效能上的問題。
首先必須先定義這問題之「列舉」與「深入列舉」 (恕小弟避開了 DFS / BFS 之定義說明 )。


「列舉」指的是,給定一個目錄 (假設 C:\),會列舉出 C:\ 底下所有指標之檔案(或資料夾),
但注意的是,如果 C:\ 底下還有其它資料夾,如 C:\Folder1、C:\Folder2,便不再進去找其他檔案。
「深入列舉」和上面說的「列舉」,只差在會深入裡面的 C:\Folder1、C:\Folder2 做深度搜尋。

這篇文章主要分三大部份探討。

1. 列舉目前之硬碟 / 磁碟槽 : 主要摘自 help 範例加以變化

2. 如何列舉某個目錄下之目錄 / 檔案
: 主要摘自 help 範例加以變化

3. 如何深入列舉某個目錄下之目錄 / 檔案  :
沒學過遞迴 (recursive) 可能不知該如何下手,本文將予以範例

4. 建立比 _FileToArray 方便使用之副函式 :
為了日後開發方便,包裝成較易呼叫、使用之函式

5. 進階議題: 由於筆者時間有限,本打算寫一份完整的 ScanFolder.au3,但開發時間估計不少 (因估計可以包的函式大概十項左右),在此紀錄一些進階議題,對於進階議題有興趣的可以先自行實作,若做不出來,小弟有時間的話會試試看。


因本文實在太長,part 2 部份是有機會、有空的話,會把自己寫的,易於維護、利於開發的 header 補足放上。

小弟學淺,對本篇有經驗、意見或補充,歡迎指教,在此先行感激。


1. 列舉目前之硬碟 / 磁碟槽



最舉目前之硬碟 / 磁碟槽只有一個指令:DriveGetDrive ( "type" ),
其中 "type" 包含了 "ALL", "CDROM", "REMOVABLE", "FIXED", "NETWORK", "RAMDISK",  "UNKNOWN"。

以下範例是列舉目前電腦看得到之磁碟槽 (摘自 help)。[code=autoit]
Local $aArray = DriveGetDrive("ALL")
If @error Then
    ; An error occurred when retrieving the drives.
    MsgBox(4096, "DriveGetDrive", "It appears an error occurred.")
Else
    For $i = 1 To $aArray[0]
        ; Show all the drives found and convert the drive letter to uppercase.
        MsgBox(4096, "DriveGetDrive", "Drive " & $i & "/" & $aArray[0] & ":" & @CRLF & StringUpper($aArray[$i]))
    Next
EndIf
[/code]注意 "type" 非常重要,蠻多人直接使用 "ALL" 去取得磁碟槽,但如果要做「深入列舉」+ 「寫入」時,
事實上 "CDROM" 是可以直接略過不記的,

若需要用的可能只有 "REMOVABLE"、 "FIXED",其它的都不想進行輸出/處理,該怎辦?

基本上目前 AutoIt 還沒辦法做到這地步,必須做一點技巧性修改。

第一種方法是,先做 DriverGetDriver("ALL"),再對每個取得之 driver 做 DriveGetType,判斷是何種 type。[code=autoit]
Local $aArray = DriveGetDrive("ALL")
If @error Then
        MsgBox(0, "Error", "DriveGetDrive Error")
Else
        For $i = 1 To $aArray[0]
                ; MsgBox(0, "", StringFormat("Drive : ""%s""  \ Type : %s", StringUpper($aArray[$i]), DriveGetType($aArray[$i])))
                $Type = DriveGetType($aArray[$i])
                If $Type="Fixed" Then
                        MsgBox(0, "", StringFormat("Get Fixed : %s", $aArray[$i]))
                ElseIf $Type = "Removable" Then
                        MsgBox(0, "", StringFormat("Get Removable : %s", $aArray[$i]))
                EndIf
        Next
EndIf
[/code]第二種方法是,分兩次列舉,也就是先做 DriveGetDrive("REMOVEABLE"),再做 DriveGetDrive("FIXED")。[code=autoit]
Dim $Type[2] = [ "FIXED", "REMOVABLE"]
For $i = 0 To UBound($Type)-1

        Local $aArray = DriveGetDrive($Type[$i])
        MsgBox(0, "", "Driver Type : " & $Type[$i])

        If @error Then
            MsgBox(4096, "DriveGetDrive", "It appears an error occurred.")
        Else
            For $j = 1 To $aArray[0]
                   MsgBox(4096, "DriveGetDrive", "Drive " & $j & "/" & $aArray[0] & ":" & @CRLF & StringUpper($aArray[$j]))
            Next
        EndIf
Next
[/code]個人較偏向方法 2,理由是,一定會先舉出 "FIXED",再取出 "REMOVABLE",且要增加 / 減少 Type 時,直接從 $Type 做修改即可。



2. 如何列舉某個目錄下之所有資料夾/檔案


這裡講的是,不會往子資料夾裡繼續找,要往子資料夾裡繼續找在下個 section 會提。

要列舉某個目錄下之所有資料夾 / 檔案並不困難,其中 AutoIt 之 File.au3 已經有提供一份函式:

_FileListToArray($sPath [, $sFilter = "*" [, $iFlag = 0]])

$sPath 是欲列舉之路徑,$sFilter 是欲列舉之檔名型態,可用 * ? 替之;
關鍵在於 $iFlag,0 代表同時傳回檔案與資料夾,1代表只傳回檔案,2代表只傳回資料夾。
要注意的是 Return Value,正常成功時,ret[0] 是傳回數量,ret[1]...ret[n] 是內容;
失敗的話會傳回0,想知道原因必須去看 @error,@error=4 代表沒檔案,@error=1 代表找不到資料夾


一份 demo code 如下 (摘自 help)[code=autoit]
#include <File.au3>
#include <Array.au3>

Local $FileList = _FileListToArray(@DesktopDir)
If @error = 1 Then
    MsgBox(0, "", "No Folders Found.")
    Exit
EndIf
If @error = 4 Then
    MsgBox(0, "", "No Files Found.")
    Exit
EndIf
_ArrayDisplay($FileList, "$FileList")
[/code]但事實上打開 File.au3 ,查看 _FileListToArray,也只是把  FileFindFirstFile/ FileFindNextFile 這兩個函式封裝起來,( 這兩個函式推斷應該是接間調用 Win32 API : FindFirstFileFindNextFile而來 ),換句話說,如果列舉之 Filter 為 *.* 時,其實自己直接用 FileFindFirstFile / FileFindNextFile 去做效能還比較高

假設要列舉 D:\Code Document 底下所有檔案 \ 資料夾,原始碼如下 (修自 Help)[code=autoit]
; Shows the filenames of all files in the current directory.
Local $Filter = "D:\Code Document\*.*" ; 注意,不可以只寫 D:\Code Document!
Local $search = FileFindFirstFile($Filter)
Local $Output, $i = 1

; Check if the search was successful
If $search = -1 Then
    MsgBox(0, "Error", "No files/directories matched the search pattern")
    Exit
EndIf

While 1
    Local $file = FileFindNextFile($search)
    If @error Then ExitLoop
    $Output = $Output & StringFormat("%02d : %s\n", $i, $file)
    $i+=1
    if Mod($i , 30) = 0 Then
            MsgBox(0, $Filter, $Output)
            $Output = "";
    EndIf
WEnd
MsgBox(0, $Filter, $Output)
FileClose($search)
[/code]有興趣可把 $Filter 改成自己電腦有的部份跑跑看。

另外,有些 coder 在判斷「是不是檔案」的時候,是判斷「有沒有副檔名」,
這方法蠻糟的,因 C:\Tmp ,代表的意義可能是 C 槽底下的 Tmp 資料夾,
也可能是 C 槽底下的 Tmp 檔案 (沒有副檔名的檔案)

關鍵只在於必須用到另一個副函式:FileGetAttrib ( "filename" ),有興趣可先看 help,
以下 code 為一副函式,單純判斷是否為資料夾[code=autoit]

; -----------------------------------------------------
; function : IsFolder
; param   : $File , file or path
; return   : if $File doesn't exist, return -1
;               : if $File is a folder, return 1
;               : if $File is not a folder, return 0
; -----------------------------------------------------

Func IsFolder(const $File)
        $Attrib = FileGetAttrib($File)
        If @error=1 Then ; File Error
                return -1
        ElseIf  StringInStr($Attrib, "D") Then ; Folder
                return 1
        Else
                return 0
        EndIf
EndFunc

[/code]這個範例大概沒什麼人有興趣,一般搜尋大多是用 *.txt / *.doc / *.jpg ... 等等,
若 Filter 放的是 "*.*" 沒什麼稀奇的,若只想找出 *.rmvb 也沒什麼好稀奇的,
但若是想找出某些特定附檔名(如所有影音檔),如  *.rmvb / *.mp3 / *.mp4 ... 怎麼做?

很遺憾,目前沒辦法只列舉特定 filter,作法不外乎兩種

(1) 先將 filter 設成 *.*, 再依序判斷副檔名是否為 rmvb / mp3 / mp4。
(2) filter 設三次,*.rmvb / *.mp3 / *.mp4,依序進去做列舉,所以要列舉三次。

這兩種方法哪種效率較高?若沒做深層列舉時,方法 (1) 會較高;若做深層列舉時,答案是不一定,和資料量、資料夾深度有關,但分析有點複雜,這裡就不再提。

3. 如何深入列舉某個目錄下之目錄 / 檔案


深層列舉其實也很簡單,但用到了 recursive 概念,它的概念大概是這樣。[code=autoit]
Func  ScanFolder( $Path )
     ; 先對 $Path 做列舉
     ; 當用 FileFindNextFile / FileFindFirstFile 取得之 $file 為檔案時,做輸出或處理。  
     ; 當用 FileFindNextFile / FileFindFirstFile 取得之 $file 為路徑時,再做 ScanfFolder($Path & "\" & $file)
EndFunc
[/code]去除防呆裝置,完整之程式碼如下[code=autoit]
; ----------------------------------------------
Dim $Filter = "D:" ; 確認 $Filter 必定存在,最後不要加  \ ,這裡不防呆
Dim $FileCount
Dim $FolderCount
Dim $Begin, $Diff

; ScanFolder 1
$FileCount = 0
$FolderCount = 0
$Begin = TimerInit()
ScanFolder1($Filter)
$Diff     = TimerDiff($Begin)
MsgBox(0, "ScanFolder 1",  _
    StringFormat("FileCount : %d\nFolderCount : %d\n %lf ms", $FileCount, $FolderCount, $Diff))

; ----------------------------------------------
;  深入列舉 Folder  - 1
Func ScanFolder1(const $Path)
        Local $search = FileFindFirstFile($Path & "\*.*")
        Local $FullPath
;        If $search = -1 Then Return  ; 取消防呆

        while 1
                Local $file =FileFindNextFile($search)
                If @error Then ExitLoop
                $FullPath = $Path & "\" & $file

                ;ToolTip($FullPath, 0, 0) ; (A) 這裡可以做任何事

                If StringInStr(  FileGetAttrib ($FullPath), "D") Then ; 找到的是資料夾
                        ScanFolder1($FullPath) ; 繼續搜尋資料夾
                        $FolderCount+=1
                Else
                        $FileCount+=1
                EndIf
        WEnd
        FileClose($search)
EndFunc

[/code]上面註解 (A) 部份是做輸出,可再做一些額外之判斷進行處理,由於這裡有拿來做測時,所以不做任何事,就空跑做列舉。
下面是筆者環境執行之結果

FileCount : 167444
FolderCount : 11409
Elaspe : 6799.538774 ms

那用 _FileToArray 可以做到深度列舉嗎?答案是可以的。假設函式名稱為 ScanFolder($Path),步驟如下
首先,先對 $Path 做 _FileToArray,只列舉出檔案 (出來的檔案直接做處理);
接著再做一次 _FileToArray,只列舉出資料夾,再對每個資料夾做 ScanFolder($Path) 動作,原始碼如下參考。[code=autoit]
#include <File.au3>
; ----------------------------------------------
Dim $Filter = "D:" ; 確認 $Filter 必定存在,最後不要加  \ ,這裡不防呆
Dim $FileCount
Dim $FolderCount
Dim $Begin, $Diff

; ScanFolder 2
$FileCount = 0
$FolderCount = 0
$Begin = TimerInit()
ScanFolder2($Filter)
$Diff     = TimerDiff($Begin)
MsgBox(0, "ScanFolder 2",  _
    StringFormat("FileCount : %d\nFolderCount : %d\n %lf ms", $FileCount, $FolderCount, $Diff))

; ----------------------------------------------
;  深入列舉 Folder - 2
Func ScanFolder2(const $Path)

        Local $FileList , $FolderList, $FullPath

        ; 先只列舉檔案
        $FileList = _FileListToArray($Path, "*", 1) ; Only File List
        If $FileList <> 0 Then ; 有找到檔案
                For $i = 1 To $FileList[0]
                        ; ToolTip($FileList[$i], 0, 0) ; (A) 這裡可以做任何事
                Next
                $FileCount+=$FileList[0]
        EndIf

        ; 再列舉資料夾
        $FolderList = _FileListToArray($Path, "*", 2) ; Only Folder List
        If $FolderList <> 0 Then ; 有找到資料夾
                For $i = 1 To $FolderList[0]
                        $FullPath = $Path & "\" & $FolderList[$i]
                        ;ToolTip($FullPath, 0, 0); (A) 對資料夾做任何事
                        ScanFolder2($FullPath) ; 再深入掃描
                Next
                $FolderCount+=$FolderList[0]
        EndIf
EndFunc
[/code]結果如下

FileCount : 167444
FolderCount : 11409
Elaspe : 5416.371854 ms

對這結果應不需太過驚,哪種方法速度較快必須視資料夾的深度與結果而定,結果沒有一定。
至於其它寫法這裡就不放上。

4. 建立比 _FileToArray 方便使用之副函式


一般 _FileToArray 是將取得的結果丟到陣列裡面去,然後再由 Coder 去取得陣列裡之內容進行處理。
問題便出在這樣寫下來多了一層陣列的迴圈,維護也不是件容易的事,於是改用 Call 方式進行。


以下為 _XFileFolder.au3,建立後放入 C:\Program Files\AutoIt3\Include 裡
(懂得 #include 原理可不用強制放入,不懂的話還是直接放進去吧...)[code=autoit]
; ================================================
;
;   檔        名 : _XFileFolder.au3
;   作        者 : EdisonX / Edison.Shih
;   修 改 日  期 : 20120102
;   版        本 : 1.0
;
; ================================================

#include-once

const $SCAN_FOLDER = 1
const $SCAN_FILES      = 2
; ================================================
;  函式名稱 : _ScanfFolderSimple
; 函式說明 : 單層掃描資料夾/檔案
;  參數 1    :  const $sPath Filter, 掃描資料夾路徑 < 必填 , 最後不可有反斜線>
;  參數 2   :   const $sFilter, <必填>
;  參數 3   :   const $Func , 針對每個掃到之資料夾/檔案之處理函式 < 必填 >
;  參數 4 :   const $scan_flag , <選填>
;                   $SCAN_FOLDER 代表只掃資料夾 ,
;                   $SCAN_FILES 代表只掃檔案,
;                   相加代表全都掃
; 傳回值 :
; ================================================
Func  _ScanFolderSimple(const $sPath, const $sFilter , const $Func , _
                                                const  $scan_flag=3)

        Local $FolderFlag , $FileFlag
        Local $FullPath , $search, $File

        If $scan_flag == 3 OR $scan_flag == 1 Then $FolderFlag=1 ; 有要找資料夾
        If $scan_flag == 2 OR $scan_flag == 1 Then $FileFlag=1      ; 有要找檔案

        $search = FileFindFirstFile($sPath & "\" & $sFilter)
        If $search = -1 Then Return   ; 找不到東西

        while 1
                $File = FileFindNextFile($search)
                If @error Then ExitLoop

                $FullPath = $sPath & "\" & $File
                If StringInStr(  FileGetAttrib ($FullPath), "D") And $FolderFlag Then ; 找到的是資料夾
                        Call($Func, $FullPath)
                EndIf

                If StringInStr(  FileGetAttrib ($FullPath), "D")=0 And $FileFlag Then ; 找到的是檔案
                        Call($Func, $FullPath)
                EndIf
        WEnd
        FileClose($search)
EndFunc
[/code]這份 header 裡使用的 function 原理在上面都有提過,包成這樣有什麼好處?我們直接寫個 demo 吧...
< 記得把這份 au3 放到 C:\Program Files\AutoIt3\Include >[code=autoit]
#include <_XFileFolder.au3>

_ScanFolderSimple("D:",  "*.*", "ProcessFile", $SCAN_FILES)

Func ProcessFile(const $sFile)
        ToolTip($sFile, 10, 10)
        Sleep(300)
EndFunc
[/code]這樣是否簡潔多了?


5. 進階議題


上面的 _ScanFolderSimple,只有找單層而已,沒有再做深入列舉。要改也不難,有興趣可自行實作。

另外針對這問題,筆者所知至少還有三種設計模式,關鍵考量都是在於三點:好不好呼叫、方不方便維護、效率高不高。

由於筆者認為使用 AU 主要目的、最大優點應是將「開發時間」縮到最小,故給了一份 _ScanFolderSimple 架構參考,

這份架構會了之後,可以再寫一份 _ScanFolderDeep,做深入掃描,它的缺點是用了間接之函式呼叫,效率會差一點;

還有一方研究是將深入掃描之遞迴拿掉 (效率將提昇),這種研究對初學者較吃力,這裡就不附上與探討了。


本文敘述至此 (其實筆者也編了三天的文章了),常用的掃描議題應已敘述,其餘可加點巧思,加以改進。若對本文所有疑惑或建議,歡迎提出,共同討論。

以上。
  by EdisonX
  • 經典美文,原創內容

    gilywu 貢獻度 +20

您需要登入後才可以回帖 登入 | 註冊

本版積分規則

小黑屋|Archiver|微剋多資訊(MicroDuo)

GMT+8, 2016-12-4 22:13

Discuz! X

© 2009-2016 Microduo

快速回覆 返回頂部 返回列表