Skip to content

Conversation

@5000user5000
Copy link
Owner

@5000user5000 5000user5000 commented Nov 6, 2025

根據 proposal 文件, 用來 evaluation 的腳本,數據可見 Discussion #7
一共更新三個檔案

  1. comprehensive_bench.py: 用來執行 evaluation
  2. BENCHMARK_GUIDE.md: evaluation 說明文件
  3. plot_tradeoff.py: 繪製 Recall-QPS trade-off curves

@5000user5000
Copy link
Owner Author

測試項目

  1. Recall@k: 測量在不同 k 值(預設為 1, 10, 100)下的召回率,評估搜尋的準確性。
  2. QPS (Queries Per Second): 測量系統每秒能處理的查詢數量,評估搜尋吞吐量。
  3. 延遲 (Latency): 測量單次查詢的延遲,並提供 p50 (中位數)、p95、p99 和平均值,評估搜尋響應時間和穩定性。
  4. 索引建置時間 (Index Build Time): 測量建立索引所需的時間。
  5. 記憶體用量 (Memory Usage): 測量索引佔用的記憶體大小,並計算每向量的記憶體用量。
  6. Recall-QPS 權衡曲線: 透過測試一系列 nprobe 值,生成 Recall 和 QPS 之間的關係曲線,以分析準確性與速度的權衡。

@5000user5000 5000user5000 merged commit 7b3dd3b into main Nov 9, 2025
1 check passed
@5000user5000 5000user5000 mentioned this pull request Nov 9, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants