[rust] async-stdで書き直してみました

前回のコードをasync-stdで書き直してみました。

tokioバージョンの時点で書き方を意識するとasync-stdへのリプレイスは難しくない印象です。

tokio::task::JoinSetに相当するものがasync-stdには無いのでFuturesUnorderedを代わりに使用しています。

スレッド数は環境変数ASYNC_STD_THREAD_COUNTでコントロールできます。

計測結果は下記になります。

全体的にtokioバージョンよりは遅いです。tokioはsysの実行時間が大きく増える傾向にありましたが、async-stdはuserの実行時間が増える傾向にありました。何がボトルネックになっているのか分かっていません。

こちらの新しいスケジューラーを試してみようと思ったのですが既にリポジトリから削除されていたのでダメでした。古い記事なので既に取り込まれているのかもしれません。

async-stdは周辺ツールもあまり無い様なので最適化が難しい気がします。

async/awaitとは関係無いのですがスレッドや並行処理をやってきたので次回はrayonで書き直してみたいと思います。

use anyhow::Result; // 1.0.71
use clap::Parser; // 4.3.11

use async_std::fs; // 1.12.0
use async_std::task;

use futures::{stream::FuturesUnordered, StreamExt};

#[derive(Parser, Debug)]
#[command(author, version, about, long_about = None)]
struct Args {
    /// target directory
    #[arg(short, long, default_value_t = String::from(".") )]
    dir: String,
}

#[async_std::main]
async fn main() -> Result<()> {
    let args = Args::parse();

    let dir_string = args.dir.to_string();
    println!("{}", dir_string);

    let mut list_from_thd: Vec<String> = vec![dir_string];

    // Like a do-while
    while !list_from_thd.is_empty() {
        let mut thds = FuturesUnordered::new();

        for item in list_from_thd {
            thds.push(task::spawn(get_dirs(item)));
        }

        let mut new_dir_list = Vec::<String>::new();

        while let Some(Ok(mut dir)) = thds.next().await {
            new_dir_list.append(&mut dir);
        }

        list_from_thd = new_dir_list;
    }

    Ok(())
}

async fn get_dirs(dir: String) -> Result<Vec<String>> {
    let mut entries = fs::read_dir(dir).await?;

    // Folder list
    let mut dirs = Vec::<String>::new();

    let mut thds = FuturesUnordered::new();

    while let Some(entry) = entries.next().await {
        let entry = entry?;
        let metadata = entry.metadata().await?;
        let path = entry.path();
        let path_2 = path.clone();

        thds.push(task::spawn(async move  {
            let path = path.display().to_string();
            if metadata.is_dir() {
                println!("{}", path);

                return Some(path);
            }

            None
        } ));

        thds.push(task::spawn(async move {
            let path = path_2;
            if let Ok(symlink) = fs::read_link(&path).await {
                if path.is_dir().await {
                    println!("{}@ -> {}", path.display(), symlink.display());
                }
            }

            None
        }));
    }

    while let Some(dir) = thds.next().await {
        if let Some(dir) = dir {
            dirs.push(dir);
        }
    }

    Ok(dirs)
}