Detektory treści AI – czym są, jak działają i czy warto im ufać?

Wraz ze wzrostem popularności AI, w szczególności Wielkich Modeli Językowych (LLM) takich jak ChatGPT czy Claude, nasiliła się tu i ówdzie potrzeba wyłapywania treści napisanych przez sztuczną inteligencję.

Sam nie należę do grona osób, którym to przeszkadza. W zdecydowanej większości przypadków zupełnie nie interesuje mnie, czy tekst, który czytam, został:

• w całości przez człowieka;
• przez człowieka wspomagającego się AI;
• w całości przez AI (z ew. lekką ręczną weryfikacją).

Liczy się dla mnie tylko czy tekst jest wartościowy i merytorycznie dobry.

Ale wiem, że dla wielu osób to ma znaczenie.

Nauczyciele sprawdzają, czy prace zaliczeniowe, eseje i odpowiedzi egzaminacyjne nie zostały wygenerowane przez AI. W mediach detektory AI oceniają, czy nadesłany tekst (np. gościnny felieton, treść PR-owa czy artykuł ekspercki) został na pewno napisany przez człowieka. Agencje marketingowe oraz freelancerzy weryfikują, czy ich podwykonawcy lub współpracownicy nie dostarczają treści pozbawionych ludzkiego wkładu.

Nie zamierzam tutaj oceniać, kto ma rację. Zamiast tego przyjrzę się bliżej popularnym narzędziom do wykrywania treści generowanych przez AI, czyli tzw. detektorom AI.

Czym są i jak działają detektory treści AI?

Detektory AI to są narzędzia, które analizują przesłany im tekst. Oceniają, czy dana treść jest napisana przez AI czy przez człowieka i w jakich proporcjach. Wykorzystują przy tym uczenie maszynowe i przetwarzanie języka naturalnego (NLP) do analizy wzorców.

Co oceniają detektory treści AI?

Podstawowy mechanizm działania detektorów AI polega na porównywaniu cech analizowanego tekstu z wzorcami typowymi dla treści generowanych przez człowieka oraz przez sztuczną inteligencję.

Nie wchodząc zbytnio w szczegóły – takie narzędzia oceniają przede wszystkim przewidywalność tekstu (tekst napisany przez ludzi jest mniej przewidywalny) oraz tzw. wybuchowość, która jest definiowana jako przeplatanie różnego rodzaju zdań w tekście (ludzie mają tendencję do pisania z naturalnym rytmem, przeplatając krótkie, zwięzłe zdania z dłuższymi, bardziej złożonymi konstrukcjami).

Sprawdzają też inne rzeczy, jak sposób przechodzenia z jednego pomysłu w drugi czy częstotliwość używania konkretnych słów.

Ogólnie na to patrząc, teksty napisane przez sztuczną inteligencję, co do zasady, są bardziej przewidywalne, o podobnej długości zdań i z logicznie i konsekwentnie budowaną narracją. U ludzi różnie z tym bywa.

Ale jak się niedługo przekonasz, to tak proste jest tylko w teorii.

Czy detektorom można ufać? Test narzędzi do wykrywania AI

I tutaj jest pies pogrzebany. Na przestrzeni ostatnich kilkunastu miesięcy wielokrotnie testowałem różne narzędzia i nigdy żadne z nich nie było nawet blisko prawdziwych rezultatów. Żyłem w przekonaniu, że detektory AI po prostu nie działają.

Ale z czasem zacząłem się zastanawiać – może zbyt pochopnie je skreśliłem? Może odradzam ich używania na podstawie zbyt wąskich doświadczeń? Jasne, podobne opinie słyszałem od innych osób… ale czy to wystarczy?

Postanowiłem dać im jeszcze jedną szansę. Tak właśnie powstał ten artykuł – jako efekt testu, który miał rozwiać wątpliwości. A co z niego wynikło?

Przeczytasz poniżej.

Do testów wykorzystałem jedne z pierwszych narzędzi z Google po wpisaniu „Detectory AI”, które przy okazji nie wykrzyczały mi w twarz, że nie wspierają języka polskiego:
ZeroGPT (https://www.zerogpt.com/)
GPTZero (https://gptzero.me/)
Grammarly (https://www.grammarly.com/ai-detector)
JustDone (https://justdone.com/ai-detector)
Originality (www.originality.ai)

Jakie tekstym tam wkleiłem? Te, który najczęściej spotykam na swojej zawodowej drodze – posty social media i artykuły na bloga. Uznaję, że skoro detektory są wykorzystywane przez zwykłych ludzi, w zwykłych sytuacjach do zwykłych tekstów, to właśnie w takich okolicznościach natury narzędzia te powinienem przetestować.

Przejdźmy więc do rzeczy.

Teksty napisane przez AI

Wszystkie poniższe teksty wygenerowałem na potrzeby tego artykułu w modelu GPT 4o. Treści powstały na potrzeby zmyślonych firm „CiastkoPol” oraz „Tiipot”.

Każdy z tekstów ma 3 poziomy zaawansowania jeśli chodzi o instrukcje (prompty) dla sztucznej inteligencji:

• Poziom 1 – podstawowy prompt bez dodatkowych instrukcji i kontekstu (np. napisz treść posta na Facebooka firmy „CiastkoPol” produkującej ciastka jak od babci, bez dodatku cukru. Post o tym, jak idealnie nasze ciastka sprawdzają się jako dodatek do weekendowego bingewatchingu ulubionego serialu).
• Poziom 2 – do prompta z poziomu 1 dorzucam prośbę o napisanie tekstu niewykrywalnego dla detektorów AI (Napisz post takim językiem, który nie będzie wykrywalny dla detektorów tekstu AI).
• Poziom 3 – do prompta z poziomu 1 dorzucam krótką instrukcję co do tone of voice marki CiastkoPol (Firma „CiastkoPol” komunikuje się bardzo ciepłym, pełnym miłości, rodzinnym językiem. Do odbiorców zwraca się per „moje wnusie”. Post powinien brzmieć tak, jakby jego autorką była babcia, która piecze ciasteczka. W zapisie tekst może wydawać się nieco infantylny, ale też każdy w głębi serca chciałby mieć przy sobie osobę, która zwraca się do nas tak jak firma CiastkoPol).

Dla dłuższego tekstu (artykuł) budowa promptów co do zasady była podobna. Poprosiłem o napisanie artykułu na około 700 słów na bloga firmy „Tiipot”, która importuje do Polski herbaty z całego świata. Temat artykułu: 7 bajkowych i filmowych krain, z których chcielibyśmy sprowadzić herbatę. A do prompta poziomu 3 dodałem odpowiednie instrukcje.

Co istotne – każdy tekst to zupełnie nowa konwersacja w ChatGPT. W tekstach, które otrzymałem, nie zmieniłem niczego – żadnego słowa, znaku interpunkcyjnego czy emoji.

Uwaga – żeby nie rozwlekać tekstu artykułu, nie wrzucam tutaj tekstów postów/artykułów, które otrzymałem od ChatGPT. Jeśli jednak chcecie je przeczytać, udostępniam je w formie pliku PDF. W tym samym pliku znajdziesz teksty, które użyłem w drugiej części testu – czyli te napisane bez użycia AI.

Co mi pokazały testy detektorami AI?
(przypominam – wszystkie teksty zostały wygenerowane w 100% przez ChatGPT).

Post na Facebooka, prompt poziom 1
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 5% AI generated, 7% Mixed, 88% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 84% AI Generated Text;
Originality – tekst był za krótki do badania.

Post na Facebooka, prompt poziom 2
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 20% AI generated, 1% Mixed, 79% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 76% AI Generated Text;
Originality – tekst był za krótki do badania.

Post na Facebooka, prompt poziom 3
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 0% AI generated, 0% Mixed, 100% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 90% AI Generated Text;
Originality – We are 99% confident that text is original.

Artykuł na bloga, prompt poziom 1
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 6% AI generated, 9% Mixed, 85% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 83% AI Generated Text;
Originality – We are 100% confident that text is original.

Artykuł na bloga, prompt poziom 2
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 1% AI generated, 2% Mixed, 97% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 79% AI Generated Text;
Originality – We are 100% confident that text is original.

Artykuł na bloga, prompt poziom 3
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 1% AI generated, 3% Mixed, 96% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 93% AI Generated Text;
Originality – We are 100% confident that text is original.

Z 5 użytych narzędzi, 4 kompletnie poległy i zupełnie nierozpoznały tekstów napisanych przez ChatGPT. Wysoką skutecznością wykrywania treści AI Generated wykazał się jedynie portal JustDone, ALE jak się zaraz przekonacie – tylko na zasadzie „zepsuty zegarek 2 razy na dobę pokazuje dobrą godzinę”.

Teksty napisane przez człowieka

Podobnie jak przed chwilą, tak i tu posłużę się kilkoma postami z mediów społecznościowych i artykułami z blogów (ich fragmentami). Takimi, co do których mam pewność, że zostały napisane bez użycia AI.

Będą to…
3 teksty mojego autorstwa:

• wpis na mój profil na LinkedIn
• wpis dla social media jednej z firm, dla których pracowałem
• artykuł o mojej wyprawie autostopem, który kilkanaście lat temu napisałem dla Kuriera Kamieniarskiego

4 teksty „z sieci” (wszystkie sprzed 2022, czyli przed boomem na ChatGPT):

• 2 posty z firmowych social mediów
• 2 artykuły z bloga wybranych marek

3 teksty „bonusowe”:

• fragment powieści „Ludzie Bezdomni”
• wiersz Cypriana Kamila Norwida
• Fragment Pisma Świętego

To jedziemy:
Post z mojego LinkedIn
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 1% AI generated, 1% Mixed, 98% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 81% AI Generated Text;
Originality – We are 100% confident that text is original.

Post dla firmy, z którą współpracowałem
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 0% AI generated, 1% Mixed, 99% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 97% AI Generated Text;
Originality – We are 100% confident that text is original.

Fragment artykułu o autostopie z Kuriera Kamieniarskiego
ZeroGPT – Your Text is Most Likely Human written, may include parts generated by AI/GPT, 18,19% AI GPT;
GPTZero – 1% AI generated, 9% Mixed, 90% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 82% AI Generated Text;
Originality – We are 99% confident that text is original.

Post z social mediów #1 sprzed 2022 roku
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 0% AI generated, 0% Mixed, 100% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 89% AI Generated Text;
Originality – tekst był za krótki do badania.

Post z social mediów #2 sprzed 2022 roku
ZeroGPT – Your Text is AI/GPT Generated, 87,94% AI GPT;
GPTZero – 0% AI generated, 1% Mixed, 99% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 82% AI Generated Text;
Originality – We are 97% confident that text is original.

Artykuł z bloga #1 sprzed 2022 roku
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 0% AI generated, 3% Mixed, 97% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 98% AI Generated Text;
Originality – We are 98% confident that text is original.

Artykuł z bloga #2 sprzed 2022 roku
ZeroGPT – Your Text is AI/GPT Generated, 80,66% AI GPT;
GPTZero – 1% AI generated, 7% Mixed, 92% Human;
Grammarly – 11% of this text appears to be AI-generated;
JustDone – 75% AI Generated Text;
Originality – We are 99% confident that text is AI-generated.

Fragment “Ludzi Bezdomnych”
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 0% AI generated, 0% Mixed, 100% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 88% AI Generated Text;
Originality – We are 99% confident that text is original.

Wiersz Cypriana Kamila Norwida
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 0% AI generated, 0% Mixed, 100% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 76% AI Generated Text;
Originality – We are 91% confident that text is AI-generated

Fragment Pisma Świętego
ZeroGPT – Your Text is Human written, 0% AI GPT;
GPTZero – 0% AI generated, 1% Mixed, 99% Human;
Grammarly – 0% of this text appears to be AI-generated;
JustDone – 79% AI Generated Text;
Originality – We are 100% confident that text is original.

Wspomniane wcześniej JustDone, wygląda na to, po prostu zawsze pokazuje, że teksty zostały wygenerowane przez AI.

W przypadku pozostałych narzędzi również trudno mówić o jakiejkolwiek skuteczności. Niby takie Grammarly czy GPTZero pokazały zgodnie z prawdą, że treści zostały napisane przez człowieka – ale przypomnę, że to samo pokazały w tekstach od ChatGPT. Tak więc – mizeria.

Że nie wspomnę już o „We are 91% confident that text is AI-generated” w przypadku tekstu z… 1856 roku.

Werdykt

Wiem, że niektórzy będą kręcić nosem. Że metodologia niezgodna ze sztuką, że dobór treści mógłby być lepszy.

I być może. Dopuszczam myśl, że chcąc wykonać taki tekst zgodnie z jakimiś metodologiami, powinienem zrobić coś więcej. Ale przyświecała mi tutaj inna myśl.

Postawiłem się w roli osoby, która czyta jakiś tekst (np. otrzymany od copywritera post na stronę) i chce sprawdzić, czy tekst został napisany przez AI. I ktoś taki nie będzie się bawił w metodologie. Nie będzie się zastanawiał czy jest tak czy inaczej.

Po prostu wejdzie w Google, wpisze „Detector AI”, wejdzie w pierwsze linki i wklei tam otrzymany tekst. Dokładnie tak, jak ja zrobiłem.

I wtedy otrzyma takie wyniki, jak ja w trakcie testu. Czyli kompletnie od czapy. Nieprawdziwe i sprzeczne ze sobą w różnych narzędziach.

Werdykt w moim odczuciu jest tutaj oczywisty: detektorom AI nie można ufać.

Jak więc zweryfikować, kto napisał tekst?

Jak to sprawdzać, jeśli nie detektorem?

Nie mam dla Ciebie dobrych wiadomości, bo nie da się tego sprawdzić. Nie ma wiarygodnego sposobu na zweryfikowanie, czy tekst napisał człowiek czy AI. Jak już wiesz – detektory nie działają.

W internecie znajdziesz różne porady typu „pauza, półpauza a myślnik”; „dwie emoji po sobie”; „słowa typu {kluczowe}” etc. Poniekąd jest to prawdą, bo Wielkie Modele Językowe faktycznie często to robią, być może częściej niż statystyczny twórca treści. Ale są z tym 3 zasadnicze problemy:

• łatwo to zneutralizować dobrym promptem („nie używaj słowa „kluczowe” więcej niż raz na 3 akapity”);
• emoji możesz usunąć;
• kwestia pauz – ChatGPT po prostu pisze poprawniej językowo, niż większość z nas + niektóre edytory tekstu same podmieniają te znaki;
• Modele językowe są szkolone na tym, jak ludzie piszą – a więc de facto treści, które często nam brzmią jak ChatGPT są tak naprawdę zwierciadłem tego, jak pisze większość z nas.

Ja zachęcam do tego, by nie oceniać, czy tekst napisał człowiek czy AI i w jakim procencie. Niech najważniejsze będzie, że tekst jest poprawny językowo, wciągający i dopasowany do celu i grupy docelowej. Co Ty na to?

Koniec końców to twórca odpowiada za to, co wysyła w świat. Jeśli wyśle gniota, to nieistotne, czy napisał go sam czy z AI. Bezwartościowy gniot to bezwartościowy gniot.

Jak „oszukać” detektory?

Znaleźliśmy się w dziwnym miejscu.

Ktoś nie chce zapłacić copywriterce za otrzymany tekst, bo detektor pokazał, że to AI napisało. Kogoś innego Reddit zbanował, bo niby wpisy były generowane przez AI. A to tylko pierwsze z brzegu historie, gdzie ludzie tworzą teksty, a mają problemy przez wadliwe detektory AI.

Doszło do tego, że niektórzy przed wysyłką tekstów sprawdzają je w detektorze i tak dostosowują, aby pokazywało im 100% Human Generated. Część autorów robi to nawet wiedząc, że detektory działają źle!

Jak więc taki detektor „oszukać”? Nie mam pojęcia. Na takie pytanie nie ma odpowiedzi. Nie ma sposobu na oszukanie czegoś, co działa źle. Co z tego, że poprawisz swój wynik w jednym detektorze, skoro w tym samym momencie rezultat w drugim może być gorszy?

Nie idź tą drogą. Próba oszukania detektorów AI to ostatnia rzecz, którą powinieneś/powinnaś robić pisząc jakikolwiek tekst. To nie ma najmniejszego sensu. Jeśli Twój klient/przełożony robi Ci kłopoty przez przepuszczanie Twoich tekstów przez wykrywacze AI, prześlij mu ten artykuł. A jeśli mimo wszystko nie zmieni to jego/jej postawy… Pomyślałbym o poważnych zmianach.

Wnioski

Kilkukrotnie już to podkreślałem, ale warto żeby to wybrzmiało na koniec: detektory AI w takiej formie jak obecnie, nie mają racji bytu. Podają złe rezultaty, a co więcej – różne wykrywacze AI podają kompletnie inne wyniki.

Być może byłoby dobrze, gdyby takie godne zaufania narzędzia powstały. Gdyby każdy, dla kogo ma to znaczenie, mógł zweryfikować autorstwo tekstu. Czy jest to możliwe? Biorąc pod uwagę samą istotę Wielkich Modeli Językowych – sądzę, że wątpię.

Ale jeśli coś takiego powstanie, na pewno o tym napiszę. I to napiszę bez pomocy AI 😉