Chief Delphi
Page 9 of 10 « First < 2345678 9 10 >
Show 100 post(s) from this thread on one page

Chief Delphi (http://www.chiefdelphi.com/forums/index.php)
-   Championship Event (http://www.chiefdelphi.com/forums/forumdisplay.php?f=12)
-   -   2013 Championship Newton Division (http://www.chiefdelphi.com/forums/showthread.php?t=116155)

Joe Ross 22-04-2013 20:41
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by MikeE (Post 1266406)
I think JesseK's expectation is that we would see substantial variation between different schedules, i.e. ranking is more a function of schedule than of OPR "performance".
So yes, while the average would approach OPR, we only play a single schedule which is likely to be helpful to some teams and disadvantage others.
You are correct that the schedule has huge impact on ranking. Running 200 match schedules last year showed a standard deviation of number of wins for an average team being around 3.5. Out of 9 matches, that is huge.

MikeE 22-04-2013 20:47
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by JesseK
Anyone feel like doing a Monte Carlo, should the schedule change? Simply swapping 4-6 teams per simulation and recalculating scores may be enough for more accurate predictions overall. I've been able to do one simulation manually, and the point spreads are close enough with the 2 schedules that I have that we could potentially go 6-2 instead of 3-5 (given our expected increased 24-pt teleop disc scoring ... well, that's my expectation...).
OK, so I bit and generated 10 different Newton schedules using an evaluation version of the scheduling software.
Match scores are based on Ed Law's Max OPR data for each team and Ether's world Auto/Climb/Teleop OPR data (linearly scaled to match Ed's Max OPR values).
This gives 10 sets of qualification rankings, one for each of the simulated schedules.

Here's a summary of each team's average, best, worst and "in top 8" rankings across those 10 schedules:

Code:
Team        Rank        Best        Worst        Top8?
25        50.2        35        74        0
68        24.7        2        43        1
79        35.1        18        63        0
88        70.2        36        96        0
93        57.5        25        81        0
116        34.8        15        62        0
122        90.4        83        100        0
128        30.2        8        51        1
131        35.8        12        71        0
141        26.8        11        55        0
155        61.0        24        91        0
175        36.8        1        77        1
180        14.4        1        33        5
190        75.0        54        92        0
191        55.3        19        93        0
195        18.8        2        47        3
217        37.9        2        69        1
225        12.3        2        30        5
296        82.0        68        98        0
303        39.3        7        69        1
341        36.3        3        100        2
353        67.9        30        91        0
492        68.0        38        95        0
503        23.0        8        60        1
537        55.6        28        71        0
604        80.7        22        96        0
771        77.5        39        97        0
829        56.1        33        85        0
1111        83.6        70        98        0
1208        42.6        5        69        1
1251        73.5        40        98        0
1305        36.9        16        80        0
1311        68.2        19        96        0
1410        30.9        1        66        1
1511        75.7        54        98        0
1515        63.7        35        94        0
1523        25.2        3        49        2
1538        8.2        2        24        6
1569        38.5        7        81        1
1640        40.5        21        74        0
1646        67.7        48        95        0
1671        56.9        16        95        0
1676        9.2        1        20        6
1718        17.7        2        38        2
1730        44.2        12        99        0
1739        74.3        35        99        0
1741        20.4        10        42        0
1781        35.1        3        64        1
1885        31.9        5        80        2
1899        33.2        9        67        0
1985        36.7        13        77        0
1986        9.8        1        56        7
2052        21.9        5        79        2
2054        9.8        1        26        5
2080        74.9        37        88        0
2194        48.9        27        71        0
2252        40.7        14        79        0
2283        81.2        49        97        0
2352        45.2        8        82        1
2386        64.2        46        93        0
2389        78.9        44        100        0
2439        41.0        22        70        0
2471        20.4        6        77        3
2612        20.7        1        44        3
2619        19.7        6        59        4
2655        90.0        61        100        0
2783        63.9        28        94        0
2789        62.2        27        94        0
2826        20.2        1        57        2
2851        35.0        2        78        1
2974        40.5        18        79        0
3130        49.7        26        78        0
3137        44.8        19        78        0
3171        83.1        55        100        0
3244        71.6        51        86        0
3280        67.4        29        96        0
3339        60.8        9        94        0
3476        22.5        4        45        3
3574        63.5        43        80        0
3756        47.9        18        81        0
3802        19.5        9        42        0
3880        44.5        8        99        1
3931        37.6        6        68        1
3997        32.0        4        60        2
4276        76.4        31        98        0
4451        51.1        13        93        0
4476        68.0        27        97        0
4487        57.6        23        85        0
4505        69.9        43        96        0
4519        44.1        4        66        1
4531        81.0        26        98        0
4539        61.0        7        90        1
4572        89.0        55        100        0
4586        75.3        47        97        0
4629        79.1        57        99        0
4652        85.8        72        99        0
4656        63.7        38        90        0
4666        87.3        57        99        0
4713        81.5        54        93        0
4828        76.8        36        100        0
(The average rank correlation between schedules is 0.59, but between schedules and max OPR the rank correlation is 0.74)

Picking the most extreme examples, team 341 would rank either 3rd or last, based purely on their randomly chosen alliance partners and opponents.

So I think we can conclude that there is a fairly high degree of scheduling luck, just as we expected.

MikeE 22-04-2013 20:54
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by Joe Ross (Post 1266538)
You are correct that the schedule has huge impact on ranking. Running 200 match schedules last year showed a standard deviation of number of wins for an average team being around 3.5. Out of 9 matches, that is huge.
I'm clearly far too lazy to run 200 simulations (thanks for the link!), but from just 10 simulations it seems the variation is even greater this year, partly due to just 8 matches in the Championship division qualifications.

Of course the basic underlying assumption (every team scores exactly "OPR" points each match) is fundamentally flawed, but that doesn't dilute the importance of schedule.

MARS_James 22-04-2013 21:18
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by Joe Ross (Post 1266301)
Code:
Rank        Team        Wins        Losses        Ties        Matches        QP        AP        TP        CP
56        1523        4        4        0        8        8        125        372        169
Quote:
Originally Posted by MikeE (Post 1266542)

Code:
Team        Rank        Best        Worst        Top8?
1523        25.2        3        49        2
Boy here I thought my team got a decent schedule apparently the scheduling gods gave us one of the if not the worst schedule possible

Siri 22-04-2013 21:24
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by MARS_James (Post 1266578)
Boy here I thought my team got a decent schedule apparently the scheduling gods gave us one of the if not the worst schedule possible
Something interesting is going on. We ranged 21-74, but the actual schedule put us at 18.

cmrnpizzo14 22-04-2013 21:28
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by Alpha Beta (Post 1266318)
You play the hand your dealt. ::ouch::
At least I'm predicted to lead the Division in Autonomous. :cool: If that prediction holds true then every victory we steal moves us to the head of the next win/loss category. Might make some noise here yet. ;)

I would expect 1986 to at the very least "make some noise here" :rolleyes: I picked you guys with the 2nd pick in my fantasy league so I hope you pan out for me!

Gregor 22-04-2013 21:31
Re: 2013 Championship Newton Division
 
So 1986 seeded in the top 10 7 out of 10 times, yet not even close in the prelim schedule (all OPR based and every one guaranteed to be wrong).

Man, that's a tough schedule.

MARS_James 23-04-2013 08:45
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by Joe Ross (Post 1266301)

Code:
Rank        Team        Wins        Losses        Ties        Matches        QP        AP        TP        CP
56        1523        4        4        0        8        8        125        372        169
I hate to keep harping on this but a thought just occurred to me a teams AP TP and CP scores added together should be equal to your total scores from each of your matches correct? Well on this if you add together the CP AP and TP you get 666 (:ahh: ) or an average score of 83.25 per match. However if you add the OPR scores of each match my team has you get 872 or 109 points per match. So though I think according to OPR my teams win loss is correct, OPR contradicts the average scores used for rankings.

Joe Ross 23-04-2013 11:39
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by MikeE (Post 1266542)
Here's a summary of each team's average, best, worst and "in top 8" rankings across those 10 schedules:
Here's what I get with 100 schedules for rank

Code:
        Avg        Med        Mode        Min        Max        StDev        Top8        #1
1986        5.37        2        1        1        42        7.75        78        38
2054        10.54        5        3        1        62        12.31        60        12
225        12.65        10.5        15        1        61        10.78        43        6
1676        12.85        9.5        4        1        54        11.31        48        6
1538        14.09        10        2        1        49        13.13        46        7
180        15.33        12.5        8        1        49        12.61        40        5
195        19.67        17.5        8        1        75        13.75        24        1
1718        20        14        11        1        68        16.81        31        1
128        20.52        14.5        7        1        67        16.92        29        2
1208        21.55        17.5        33        1        92        16.23        22        2
2052        22.05        19        17        1        71        14.93        21        1
2612        22.96        16        13        1        68        17.05        22        2
1523        23.46        21        21        1        71        16.11        23        1
2826        24.2        20.5        11        1        83        17.72        16        3
3476        24.64        25        15        1        65        15.60        15        2
1741        26.62        23.5        9        2        91        19.83        15        0
68        27.07        23        15        1        68        17.29        15        2
131        28.68        22        18        1        81        18.39        10        1
141        29.53        25        13        1        88        20.73        11        1
2471        29.74        25        26        2        92        21.34        17        0
2619        30.39        27        22        2        81        20.01        15        0
2252        31.27        28.5        7        1        85        20.38        15        3
1410        32.11        31        39        1        76        19.21        10        2
503        32.67        28.5        20        2        85        21.07        10        0
79        33.22        33        19        2        93        20.61        12        0
175        35.41        31.5        17        3        85        19.88        3        0
116        35.44        32        34        2        95        22.75        8        0
1899        36.02        34        27        4        84        20.26        9        0
3997        36.24        39.5        40        3        91        20.40        8        0
303        36.59        35.5        31        2        85        19.20        4        0
1640        37.38        34        16        3        93        21.47        8        0
4451        37.51        29        24        2        93        24.12        8        0
3931        37.64        37        29        3        77        19.59        8        0
829        38.26        37        45        4        84        20.03        5        0
217        38.29        34        32        2        94        23.43        12        0
341        39.27        33.5        14        2        93        22.65        8        0
1781        40.18        38.5        33        3        95        20.23        4        0
2352        40.35        40        46        1        87        20.23        5        1
3137        40.76        41.5        24        2        94        21.57        4        0
1985        40.83        41        32        5        95        20.92        5        0
1569        41.79        41.5        48        6        94        20.15        3        0
2439        43.21        41        32        6        87        21.03        5        0
2851        43.34        44        29        4        92        20.46        4        0
3130        43.95        43.5        14        2        97        22.29        3        0
2974        44.48        41        31        5        94        23.31        5        0
4519        44.79        43.5        47        1        98        22.41        3        1
1885        45.21        44.5        30        9        86        19.79        0        0
1730        45.5        46        47        5        94        20.87        2        0
2783        47.2        46        66        6        97        21.97        3        0
3802        47.29        46        46        3        92        19.40        2        0
191        47.82        48        38        2        94        22.12        2        0
3880        47.98        51.5        55        6        85        21.00        1        0
1305        48.18        48        48        4        92        21.23        4        0
3756        52.62        53.5        66        10        95        22.69        0        0
4505        57.07        62.5        64        5        97        21.81        1        0
353        57.14        57        53        4        98        24.00        1        0
25        57.25        57.5        57        13        94        20.51        0        0
4476        57.37        57        71        3        96        23.16        3        0
1311        60.18        64.5        73        10        98        21.69        0        0
155        60.21        60.5        67        13        99        19.38        0        0
3339        60.62        58        58        7        100        21.46        1        0
1671        62.32        64        62        9        99        19.12        0        0
1251        63.8        62.5        56        7        99        21.52        1        0
4656        63.85        67        54        14        100        22.13        0        0
3574        64.34        66        92        9        100        23.27        0        0
537        64.96        65        72        6        100        21.52        1        0
4276        65.05        68        86        21        99        19.78        0        0
2386        65.98        70        70        13        96        20.97        0        0
3244        66.04        68        69        19        100        20.16        0        0
2194        66.2        66        81        5        99        20.79        2        0
4487        66.48        70.5        58        15        100        22.02        0        0
1515        66.55        70        83        2        99        22.41        3        0
3280        66.84        69        70        14        100        19.59        0        0
4539        68.44        71        65        15        100        20.57        0        0
190        69.07        75.5        77        19        100        20.76        0        0
604        69.26        71        61        20        100        19.88        0        0
492        69.53        71.5        84        7        100        20.19        1        0
93        70.97        73.5        84        19        100        19.78        0        0
2789        71.15        74        74        7        100        21.84        1        0
4828        72.15        75        85        20        100        17.76        0        0
1646        72.35        78        93        24        99        19.17        0        0
771        72.73        77.5        80        19        99        19.77        0        0
2080        73.41        74.5        74        19        100        19.45        0        0
1511        73.61        76        87        10        100        19.88        0        0
1111        73.88        77        86        7        100        20.60        1        0
88        74.95        77        87        37        100        16.63        0        0
2283        75.18        80.5        92        29        100        19.86        0        0
2389        75.35        81        84        14        100        18.38        0        0
296        76.24        80        82        30        100        16.48        0        0
1739        77.2        81.5        86        23        100        15.97        0        0
4586        77.39        80.5        92        17        100        18.70        0        0
4531        77.4        82.5        86        9        99        17.65        0        0
4629        77.67        83        85        10        100        18.89        0        0
122        80.61        83        98        31        100        15.17        0        0
2655        81.98        87        95        36        100        15.45        0        0
3171        83.49        88.5        89        40        100        14.00        0        0
4666        87        91        100        35        100        13.79        0        0
4652        88.54        93.5        96        38        100        12.68        0        0
4713        90.45        95        100        26        100        12.82        0        0
4572        93.04        96        100        68        100        7.73        0        0
and for wins
Code:
        Avg        Med        Mode        Min        Max        StDev
1986        7.01        7        7        4        8        0.93
2054        6.47        7        7        3        8        1.16
225        6.39        6        6        3        8        0.99
1676        6.36        6        7        3        8        1.12
180        6.19        6        7        4        8        1.08
1538        6.15        6        7        4        8        1.22
195        6.1        6        6        3        8        1.04
1523        5.94        6        6        3        8        1.21
1718        5.84        6        6        3        8        1.34
2052        5.82        6        6        3        8        1.19
1208        5.82        6        5        1        8        1.24
128        5.74        6        6        3        8        1.29
2612        5.47        6        6        3        8        1.27
2826        5.44        5.5        6        2        8        1.33
68        5.37        5        6        3        8        1.28
131        5.35        6        6        2        8        1.29
3476        5.32        5        6        3        8        1.16
1410        5.24        5        6        2        8        1.30
503        5.2        5        6        2        8        1.46
1741        5.17        5        6        1        8        1.35
4451        5.16        5        6        2        8        1.48
79        5.15        5        5        1        8        1.47
2471        5.08        5        6        1        8        1.44
2252        5.05        5        4        2        8        1.40
116        5.05        5        5        1        8        1.48
2619        5        5        5        2        8        1.41
303        4.91        5        4        2        8        1.24
141        4.9        5        5        1        7        1.37
217        4.81        5        5        1        8        1.56
829        4.79        5        5        2        8        1.34
3931        4.75        5        4        2        8        1.29
1899        4.74        5        4        2        7        1.31
1640        4.73        5        5        1        7        1.40
175        4.66        5        5        2        8        1.27
341        4.49        5        5        1        8        1.48
1781        4.48        4        4        1        8        1.33
2439        4.44        4        5        2        7        1.35
2352        4.44        4        4        2        8        1.30
3997        4.4        4        4        1        7        1.32
1985        4.34        4        4        1        7        1.36
3137        4.32        4        5        1        8        1.37
1569        4.3        4        4        1        7        1.28
2851        4.28        4        5        1        7        1.29
1885        4.27        4        5        2        7        1.26
2974        4.24        4        5        1        7        1.50
3880        4.24        4        4        2        7        1.36
4519        4.13        4        4        0        8        1.45
1730        4.12        4        4        1        7        1.31
2783        4.1        4        3        0        7        1.41
191        4.07        4        5        1        8        1.43
3802        4.05        4        4        1        7        1.22
3130        4.05        4        4        0        8        1.43
1305        3.96        4        4        1        7        1.36
3756        3.86        4        3        1        7        1.44
25        3.81        4        4        1        6        1.27
353        3.77        4        4        0        8        1.56
4476        3.77        4        4        1        8        1.46
1311        3.6        4        4        1        7        1.37
3339        3.56        4        3        0        7        1.43
155        3.46        4        4        0        7        1.26
4505        3.44        3        3        1        7        1.34
1251        3.32        3        4        0        7        1.41
537        3.21        3        4        0        8        1.48
4656        3.21        3        2        0        6        1.43
190        3.2        3        3        0        6        1.36
4276        3.16        3        3        0        6        1.32
2386        3.13        3        3        1        7        1.36
4487        3.12        3        3        0        6        1.42
1515        3.09        3        3        0        8        1.58
3574        3.03        3        3        0        7        1.55
2789        3.02        3        2        0        7        1.48
604        3.01        3        3        0        6        1.37
1671        2.99        3        3        0        7        1.18
3244        2.95        3        3        0        6        1.37
3280        2.88        3        3        0        6        1.36
2194        2.86        3        3        0        7        1.37
771        2.82        3        3        0        6        1.40
4828        2.8        3        3        0        6        1.26
1511        2.77        3        3        0        7        1.42
492        2.73        3        3        0        6        1.38
88        2.68        3        3        0        5        1.19
4539        2.63        2.5        2        0        6        1.38
93        2.61        2.5        2        0        6        1.36
2080        2.61        3        3        0        6        1.38
1111        2.61        3        3        0        7        1.46
4531        2.44        2        2        0        7        1.31
1646        2.42        2        2        0        5        1.31
1739        2.42        2        2        0        6        1.15
2389        2.25        2        2        0        6        1.31
296        2.24        2        2        0        5        1.24
2283        2.23        2        2        0        5        1.41
4629        2.22        2        2        0        7        1.38
2655        2.22        2        3        0        5        1.29
4586        2.07        2        2        0        6        1.37
3171        2.03        2        2        0        4        1.12
122        1.8        2        2        0        5        1.18
4652        1.65        1        1        0        5        1.15
4666        1.62        2        2        0        5        1.20
4713        1.46        1        2        0        5        1.20
4572        1.04        1        1        0        3        0.90

pntbll1313 23-04-2013 11:47
Re: 2013 Championship Newton Division
 
As expected that almost exactly mirrors OPR.

Joe Ross 23-04-2013 11:58
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by MARS_James (Post 1266715)
I hate to keep harping on this but a thought just occurred to me a teams AP TP and CP scores added together should be equal to your total scores from each of your matches correct? Well on this if you add together the CP AP and TP you get 666 (:ahh: ) or an average score of 83.25 per match. However if you add the OPR scores of each match my team has you get 872 or 109 points per match. So though I think according to OPR my teams win loss is correct, OPR contradicts the average scores used for rankings.
Only if the data came from the same source. As stated, the OPR comes from each team's best event OPR, and auto, teleop, and climb comes from world OPR. Since no one publishes each teams teleop, auto, and climb opr at their best event, the numbers don't add up.

KrazyCarl92 23-04-2013 12:16
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by Joe Ross (Post 1266779)
Only if the data came from the same source. As stated, the OPR comes from each team's best event OPR, and auto, teleop, and climb comes from world OPR. Since no one publishes each teams teleop, auto, and climb opr at their best event, the numbers don't add up.
You can fish the data from 1114's spreadsheet.

OZ_341 23-04-2013 12:25
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by MikeE (Post 1266542)
........... So I think we can conclude that there is a fairly high degree of scheduling luck, just as we expected.
Definitely agree. I have a slightly more anecdotal story related to this discussion.
At the old Maryland State Fair Robotics Competition, the schedule was created by hand. So, when a team did not show up for the event, there was no time to re-run the entire schedule for obvious reasons. It turned out that a team did not show up at all, but was still counted as a partner in the scheduled matches. If they were your partner you played 1 against 2 for that match.
At the end of day one, after about 8 or 9 matches, the missing team was in 4th place. When that happened, I brought my whole team over to see the standings. It was very instructive as to how a favorable schedule can boost a team into the top 8. Just thought I would share. :)

Joe Ross 23-04-2013 13:18
Re: 2013 Championship Newton Division
 
From the 100 schedule data, the standard deviation in rank was used to calculated the 95% rank and determine the outliers. There were 6 outliers. No one has a 3 sigma outlier schedule.

2389 has an easy schedule. Their average rank is 75 with a standard deviation of 18, but predicted rank is 36.

Here are the 6 teams with outlier schedules

Code:
        Avg        StDev        Actual
1986        5        8        23
1523        23        16        56
3476        25        16        59
1410        32        19        76
116        35        23        92
2389        75        18        36

Nuttyman54 23-04-2013 13:39
Re: 2013 Championship Newton Division
 
Quote:
Originally Posted by Joe Ross (Post 1266798)
From the 100 schedule data, the standard deviation in rank was used to calculated the 95% rank and determine the outliers. There were 6 outliers. No one has a 3 sigma outlier schedule.

2389 has an easy schedule. Their average rank is 75 with a standard deviation of 18, but predicted rank is 36.

Here are the 6 teams with outlier schedules

Code:
        Avg        StDev        Actual
1986        5        8        23
1523        23        16        56
3476        25        16        59
1410        32        19        76
116        35        23        92
2389        75        18        36
This is a really interesting way of evaluating the difficulty of schedules. Would you mind doing this for the other fields?


All times are GMT -5. The time now is 04:15.
Page 9 of 10 « First < 2345678 9 10 >
Show 100 post(s) from this thread on one page

Powered by vBulletin® Version 3.6.4
Copyright ©2000 - 2017, Jelsoft Enterprises Ltd.
Copyright © Chief Delphi