修改请求间隔时间

lyg

2024-06-13 b8ed325a3455ff1344cfeb04c9268bc84d0a415e

修改请求间隔时间

 .gitignore

@@ -7,3 +7,4 @@
failed-books.txt
no-file-books.txt
not-found-books.txt
alreadyDownloadedBooks.txt

 src/book-list-download.mjs

@@ -106,8 +106,18 @@
  }
}

initLogger();
main()
  .finally(() => {
    logFile.close();
  });
function failed2Excel() {
  const ids = fs.readFileSync("C:\\Users\\lyg\\Downloads\\not-found-books.txt", "utf-8").split("\n");
  const workSheets = xlsx.parse("【第二批二次处理后】交付清单.xlsx");
  const sheet = workSheets[0];
  const rows = sheet.data.filter((row) => ids.includes(row[0]));
  const buffer = xlsx.build([{ name: "Sheet1", data: rows }]);
  fs.writeFileSync("C:\\Users\\lyg\\Downloads\\not-found-books.xlsx", buffer, (err) => { });
}
failed2Excel();
// initLogger();
// main()
//   .finally(() => {
//     logFile.close();
//   });


 src/main.mjs

@@ -379,14 +379,14 @@
      continue;
    }
    // 等一段时间再打开详情页
    sleep(getRandomNumber(1000, 30000));
    sleep(getRandomNumber(500, 10000));
    // 打开详情页
    await openBookDetailPage(book, detailPageUrl);
    // 获取下载链接
    const url = await getDownloadUrl(book);
    if (!url) { continue; }
    // 等待一段时间再下载
    await sleep(getRandomNumber(1000, 30000));
    await sleep(getRandomNumber(500, 10000));
    // 下载文件
    try {
      await downloadFile(book, url);
@@ -394,7 +394,7 @@
    } catch (e) { }
    successCount++;
    // 等一段时间再下一个
    sleep(getRandomNumber(1000, 30000));
    sleep(getRandomNumber(500, 10000));
  }
}