NeurIPS 2026 wprowadza kontrolowany eksperyment z recenzowaniem wspieranym przez AI

Organizatorzy NeurIPS, jednej z najważniejszych konferencji poświęconych uczeniu maszynowemu, ogłosili przeprowadzenie eksperymentu badającego, jak recenzenci korzystają z dużych modeli językowych podczas oceny prac naukowych i jak różne formy takiego wsparcia wpływają na jakość recenzji, zachowanie recenzentów oraz przebieg całego procesu.

Kluczowe jest słowo „bada”. To nie jest wdrożenie narzędzia, lecz kontrolowana próba z grupą kontrolną i pomiarem wyników.

Jak zaprojektowano eksperyment

Recenzenci biorący udział zostaną losowo przydzieleni — osobno dla każdej kwalifikującej się pracy — do jednego z trzech wariantów:

• bez wsparcia LLM (grupa kontrolna),
• otwarta interakcja z modelem językowym,
• wsparcie strukturyzowane, prowadzone według określonego schematu.

Interfejs modelu jest wbudowany w platformę OpenReview i dostępny wyłącznie dla prac, których autorzy zgłosili się do eksperymentu, i tylko w tych przypisaniach recenzent–praca, które trafiły do wariantu drugiego lub trzeciego. Udział jest dobrowolny po obu stronach.

Najważniejsza jest jednak część pomiarowa, bez której całość byłaby tylko udostępnieniem narzędzia: po zakończeniu procesu area chairs — nieświadomi, do którego wariantu trafiła dana recenzja — ocenią jej jakość i przydatność. Recenzenci wypełnią z kolei ankiety na temat własnych doświadczeń. Dopiero zestawienie tych dwóch źródeł pozwoli powiedzieć, czy wsparcie AI cokolwiek poprawia.

Granice: co wolno, a co kończy się odrzuceniem pracy

NeurIPS określa rolę modelu wąsko. Asystent ma pomagać recenzentowi przemyśleć i zrozumieć zgłoszony tekst oraz wesprzeć go w przyswajaniu treści, analizie i niezbędnym rozeznaniu w literaturze. Nie ma zastępować osądu recenzenta ani pisać recenzji w jego imieniu.

Poza tym eksperymentem jakiekolwiek użycie modeli językowych w procesie recenzenckim jest naruszeniem polityki integralności konferencji. Konsekwencje są konkretne i dotkliwe: obejmują nie tylko samego recenzenta, ale również prace, które sam zgłosił na konferencję — łącznie z ich odrzuceniem bez recenzji. Wytyczne przypominają też, że recenzenci nie mogą dzielić się informacjami o zgłoszeniach z nikim, w tym z niezatwierdzonymi modelami językowymi.

Eksperyment obejmuje wyłącznie ścieżkę główną. Ścieżka Evaluations & Datasets nie bierze w nim udziału.

Dlaczego to się dzieje teraz

Inicjatywa NeurIPS nie jest pierwszą tego rodzaju i nie jest najbardziej radykalna. Warto zestawić ją z tym, co robią inne konferencje:

• NeurIPS 2024 — asystent oparty na LLM pomagający autorom wypełniać listy kontrolne,
• ICLR 2025 — agent wychwytujący recenzje ogólnikowe i mało konstruktywne oraz sugerujący poprawki,
• AAAI 2026 — pilotaż na zupełnie inną skalę: recenzje generowane przez AI dla blisko 23 tysięcy prac, wyraźnie oznaczone jako AI-owe i udostępnione zarówno autorom, jak i recenzentom.

W tle jest jednak zjawisko istotniejsze niż którykolwiek z tych programów. Według doniesień „Nature” z końca 2025 roku ponad połowa badaczy używa już AI przy recenzowaniu — często wbrew obowiązującym wytycznym. Recenzje udzielane są za darmo, liczba zgłoszeń rośnie lawinowo, a chętnych do ich oceniania nie przybywa.

Z tej perspektywy eksperyment NeurIPS jest mniej próbą wprowadzenia nowinki, a bardziej próbą wyprowadzenia z szarej strefy praktyki, która już istnieje — po to, by dało się ją zmierzyć i objąć zasadami zamiast udawać, że jej nie ma.

Źródła: NeurIPS 2026 (strona eksperymentu, 24.07.2026), NeurIPS 2026 Reviewer Guidelines, arXiv:2604.13940 (raport z pilotażu AAAI-26)