AI do wykrywania luk w kodzie staje się mierzalna. Co to zmienia dla firm zlecających software

Przez lata nie było dobrego sposobu, żeby sprawdzić, jak skutecznie AI wykrywa błędy bezpieczeństwa w kodzie. Producenci narzędzi chwalili się wynikami na własnych danych, modele porównywano między sobą na różnych zasadach, a wnioski trudno było ze sobą zestawić. Pojawiło się właśnie coś, co to porządkuje: otwarty benchmark dla AI działającej na podatnościach z bazy CWE, Common Weakness Enumeration, czyli skatalogowanej listy klas błędów w oprogramowaniu. Nowa wersja obejmuje znacznie więcej klas słabości niż poprzednia, każdy przypadek testowy przeszedł ręczną weryfikację jakości, a metodologia oceny jest w pełni jawna. Każdy może sprawdzić, jak wyliczono wyniki i co dokładnie testowano.

To nie jest newsik dla programistów. To zmiana, która za kilka miesięcy dotknie firmy zamawiające software i wybierające narzędzia dla swoich zespołów deweloperskich.

Co to oznacza dla polskich firm

Zacznijmy od najbardziej praktycznego wniosku. Narzędzia do analizy kodu, skanery SAST, asystenci w IDE, funkcje code review w platformach CI/CD, zaczynają być mierzone według wspólnej miarki. Dotąd każdy dostawca mógł powiedzieć, że jego AI "wykrywa podatności" i nie było jak tego obalić ani potwierdzić. Teraz można zapytać: jak wypadacie na CWE-bench? Firma, która nie potrafi odpowiedzieć, prawdopodobnie nie testowała się na niczym poza własnymi przykładami.

Dla firm, które zlecają tworzenie oprogramowania polskim software house'om albo agencjom, to sygnał, żeby zmienić pytania na etapie przetargu lub odbioru. Zamiast "czy stosujecie code review z AI" warto pytać "na jakich benchmarkach sprawdzacie narzędzia, których używacie". Dobra firma deweloperska powinna umieć odpowiedzieć.

Większa przejrzystość benchmarków przyspiesza też dojrzewanie samych narzędzi. Każdy producent, który chce być traktowany poważnie, teraz ma motywację, żeby rzeczywiście poprawić wykrywalność, nie tylko opakowanie produktu. Oznacza to, że za rok, może dwa, narzędzia zintegrowane z pipeline'ami w Waszych projektach będą po prostu skuteczniejsze. Mniej przeoczonych wstrzyknięć SQL, mniej niedopatrzeń przy obsłudze uwierzytelniania, mniej błędów w logice autoryzacji.

• Dla działów IT: przy wyborze skanerów kodu pytajcie o wyniki na publicznie dostępnych benchmarkach, nie tylko o liczbę obsługiwanych języków.
• Dla firm zlecających software: dodajcie do umów obowiązek stosowania narzędzi weryfikowanych zewnętrznie, nie tylko "narzędzi do analizy statycznej".
• Dla HR i rekrutacji: kandydaci do ról DevSecOps powinni rozumieć, czym jest CWE i jak ocenia się narzędzia, nie tylko znać ich nazwy.

Wreszcie: jeśli Wasza firma przetwarza dane wrażliwe, operuje w regulowanej branży albo po prostu nie może sobie pozwolić na incydent bezpieczeństwa, to właśnie te benchmarki są przyszłością rozmowy z audytorami i ubezpieczycielami. Pytanie "jaka AI przegląda Wasz kod i jak zmierzono jej skuteczność" stanie się standardem. Lepiej być na nie gotowym przed pierwszym audytem niż po nim.

Jeśli chcecie sprawdzić, jak Wasze obecne narzędzia i procesy wypadają w tym kontekście, zapraszamy na bezpłatny audyt.