evalationmemo.txt 4.7 KB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495
  1. ノードS〜ノードD 間のリンク集合 L だけでなく、
  2. ノードS〜ノードD_n間のリンク集合 L_n (1 <= n <= N, N はノードSの隣接ノード数)がそれぞれ入力される。
  3. ノードS〜ノードD_n間の重要度 I_n (0〜1 の値) が入力として与えられる。
  4. 総バウンスコスト C が入力として与えられる。
  5. この時、ノードS〜ノードD_n のノードペアの中で、
  6. K 個のノードペア (S, D_s_1), (S, D_s_2), ... (S, D_s_K) における
  7. 忠実度が最大のリンクをそれぞれ発見する。
  8. ただし、発見するリンクのノードペア数 K は、
  9. 重要度と忠実度の積の総和、つまり
  10. I = \sum_{k = 1}^K I_s_k * F_s_k
  11. が最大となるように定める。
  12. ここで F_n は (S, D_n) 間において忠実度の最大のリンクの忠実度である。
  13. A. この拡張問題は、複数のノードペア (S, Dₙ) に対して、限られたリソース(バウンスコスト)の中で、重要なノードペアの
  14. 高忠実度リンクを選定する最適化問題です。以下に、この問題の形式的な定義を記述します。
  15. --------------------------------------------------------
  16. この拡張問題を最適化問題として扱うにはどうすればいいのかを考えました
  17. ->
  18. 全リンクの I_d × (UB - LB) の総和 (重要度を幅に乗算)を最小化する最適化
  19. 問題とする?方向性を考えてます
  20. ここで、UB,LBは信頼区間の上界と下界です。
  21. たくさん測定をするとUB-LBは小さくなります
  22. 現時点では提案手法は予想とは裏腹にnaiveよりも性能が低いという結果にな
  23. りました。(提案手法では需要が高い宛先の中で忠実度が中程度のリンクに資
  24. 源を割かないため)
  25. 全リンクではなく、各宛先の最大推定忠実度のI_d × (UB - LB)
  26. 7) plot_minwidthsum_perpair_weighted_vs_budget_{NOISE}.pdf
  27. のみで提案手法が性能が優れているという結果です。
  28. 現段階で新しく実装している評価指標
  29. 1) plot_accuracy_vs_budget_{NOISE}.pdf
  30. - X軸: 目標予算 (Budget target)
  31. - Y軸: 正答率の平均 (各ペアでベストリンクを正しく当てた割合の平均)
  32. - 系列: スケジューラごと
  33. - CI帯: なし (平均のみ)
  34. - Pickle: ./outputs/plot_accuracy_vs_budget_{NOISE}.pickle (必要に応じて利用/保存)
  35. 2) plot_value_vs_used_{NOISE}.pdf
  36. - X軸: 実際に使用した測定コストの平均 (Total measured cost: used)
  37. - Y軸: 総価値の平均 (各ペアの重要度 I_d × 推定忠実度 f_hat × 投入バウンス数 B の総和)
  38. - 系列: スケジューラごと
  39. - CI帯: なし
  40. - Pickle: なし (PDFのみ)
  41. 3) plot_value_vs_budget_target_{NOISE}.pdf
  42. - X軸: 目標予算 (Budget target)
  43. - Y軸: 総価値の平均 (定義は上と同じ: I_d × f_hat × B の総和)
  44. - 系列: スケジューラごと
  45. - CI帯: なし
  46. - Pickle: なし (PDFのみ)
  47. 4) plot_widthsum_alllinks_vs_budget_{NOISE}.pdf
  48. - 定義: 全リンクの (UB - LB) の総和 (重要度は掛けない)
  49. UB/LB は Hoeffding 半径に基づく信頼区間から計算
  50. - X軸: 目標予算 (Budget target)
  51. - Y軸: 全リンク (UB - LB) 総和の反復平均
  52. - 系列: スケジューラごと
  53. - CI帯: あり (平均 ± 95% CI)
  54. - Pickle: ./outputs/plot_widthsum_alllinks_vs_budget_{NOISE}.pickle
  55. 5) plot_minwidthsum_perpair_vs_budget_{NOISE}.pdf
  56. - 定義: ペアごとに (UB - LB) の最小値を取り、その総和 (重要度は掛けない)
  57. 推定が無いペアは幅=1.0として加算 (保守的扱い)
  58. - X軸: 目標予算 (Budget target)
  59. - Y軸: ペア最小幅の総和の反復平均
  60. - 系列: スケジューラごと
  61. - CI帯: あり (平均 ± 95% CI)
  62. - Pickle: ./outputs/plot_minwidthsum_perpair_vs_budget_{NOISE}.pickle
  63. 6) plot_widthsum_alllinks_weighted_vs_budget_{NOISE}.pdf
  64. - 定義: 全リンクの I_d × (UB - LB) の総和 (重要度を幅に乗算)
  65. - X軸: 目標予算 (Budget target)
  66. - Y軸: 重み付き全リンク幅総和の反復平均
  67. - 系列: スケジューラごと
  68. - CI帯: あり (平均 ± 95% CI)
  69. - Pickle: ./outputs/plot_widthsum_alllinks_weighted_vs_budget_{NOISE}.pickle
  70. 7) plot_minwidthsum_perpair_weighted_vs_budget_{NOISE}.pdf
  71. - 定義: ペアごとの最小幅に I_d を掛け、その総和 (I_d × min_l(UB - LB) の合計)
  72. 推定が無いペアは I_d × 1.0 を加算 (保守的扱い)
  73. - X軸: 目標予算 (Budget target)
  74. - Y軸: 重み付きペア最小幅総和の反復平均
  75. - 系列: スケジューラごと
  76. - CI帯: あり (平均 ± 95% CI)
  77. - Pickle: ./outputs/plot_minwidthsum_perpair_weighted_vs_budget_{NOISE}.pickle