| { |
| "vl-a": { |
| "questions": 1380, |
| "accuracy_original": 0.8608695652173913, |
| "accuracy_reversed": 0.8507246376811595, |
| "choice_flip_rate": 0.07246376811594203, |
| "mean_max_probability_shift": 0.06171099624336428, |
| "p95_max_probability_shift": 0.28460516488096166, |
| "flip_rate_by_source": { |
| "agnews": 0.05, |
| "agnews_yn": 0.025, |
| "amazon": 0.21666666666666667, |
| "banking77": 0.26666666666666666, |
| "boolq": 0.016666666666666666, |
| "dbpedia14": 0.0, |
| "imdb": 0.03333333333333333, |
| "mnli": 0.11666666666666667, |
| "snake": 0.01, |
| "sst5": 0.25, |
| "synthetic_approval_en": 0.0, |
| "synthetic_approval_zh": 0.0, |
| "synthetic_deadline_en": 0.16666666666666666, |
| "synthetic_deadline_zh": 0.16666666666666666, |
| "synthetic_membership_en": 0.5, |
| "synthetic_membership_zh": 0.75, |
| "synthetic_refund_en": 0.0, |
| "synthetic_refund_zh": 0.0, |
| "trec": 0.05, |
| "yelp": 0.21666666666666667, |
| "yelp_yn": 0.0 |
| } |
| }, |
| "vl-b": { |
| "questions": 1380, |
| "accuracy_original": 0.7355072463768116, |
| "accuracy_reversed": 0.658695652173913, |
| "choice_flip_rate": 0.2898550724637681, |
| "mean_max_probability_shift": 0.11812757232253329, |
| "p95_max_probability_shift": 0.43785602348204056, |
| "flip_rate_by_source": { |
| "agnews": 0.1, |
| "agnews_yn": 0.6083333333333333, |
| "amazon": 0.55, |
| "banking77": 0.7, |
| "boolq": 0.48333333333333334, |
| "dbpedia14": 0.05, |
| "imdb": 0.7333333333333333, |
| "mnli": 0.65, |
| "snake": 0.0, |
| "sst5": 0.5, |
| "synthetic_approval_en": 0.0, |
| "synthetic_approval_zh": 0.0, |
| "synthetic_deadline_en": 0.0, |
| "synthetic_deadline_zh": 0.16666666666666666, |
| "synthetic_membership_en": 0.9166666666666666, |
| "synthetic_membership_zh": 0.75, |
| "synthetic_refund_en": 1.0, |
| "synthetic_refund_zh": 1.0, |
| "trec": 0.2, |
| "yelp": 0.55, |
| "yelp_yn": 0.13333333333333333 |
| } |
| } |
| } |
|
|
