# Η ημέρα που το σύστημα αστοχεί

FRONTIER THOUGHT · 2026-11-22



Συντακτική εξέταση πηγών και επόμενο σημείωμα συντονιστή



## Τι προέκυψε από την εξέταση

Το NIST προτείνει δοκιμασμένη εναλλακτική λειτουργία και σαφή ευθύνη διακοπής. Το CaMeL εξετάζει όριο μεταξύ έγκυρων εντολών και μη έμπιστου περιεχομένου σε συγκεκριμένο μοντέλο απειλών. Ελέγχουμε χωριστά ανεπιθύμητες ενέργειες, παραπλανητικές συμβουλές και συνέχεια χωρίς το μοντέλο.



## Συγκριτική ανάλυση

Η πρώτη ημέρα συνέδεσε διαφορετικές προσεγγίσεις κινδύνου με τη δυνατότητα παρέμβασης. Το εθελοντικό πλαίσιο του NIST δίνει λειτουργική δομή: ασκήσεις συμβάντων τρίτων παρόχων, δοκιμές εναλλακτικών διαδικασιών και σαφείς αρμοδιότητες διακοπής. Η έρευνα CaMeL προσθέτει τεκμήρια άλλου είδους. Εξετάζει πώς τα όρια ασφαλείας εμποδίζουν ένα ανακτημένο κείμενο να καθορίζει τις ενέργειες ενός agent, μέσα σε συγκεκριμένο μοντέλο απειλών. Η γενική απαίτηση ανθρώπινης εποπτείας είναι μόνο αφετηρία. Ο οργανισμός πρέπει να ορίζει τι επιτρέπεται στο σύστημα να διαβάζει, να στέλνει και να αλλάζει. Προτείνουμε δημοτικό βοηθό πληροφόρησης που διαβάζει δημόσια έγγραφα, χωρίς δικαίωμα αλλαγής επίσημου μητρώου. Σε ασφαλές δοκιμαστικό περιβάλλον εξετάζουμε αν μια εντολή μέσα σε υποθετικό έγγραφο παραμένει απλό περιεχόμενο. Χωριστά διακόπτουμε τη σύνδεση με το μοντέλο και εξετάζουμε πώς συνεχίζει ο υπάλληλος. Οι δύο δοκιμές αφορούν διαφορετικές αστοχίες. Ο έλεγχος δικαιωμάτων δεν αποδεικνύει ακρίβεια συμβουλών και ένα σχέδιο εναλλακτικής λειτουργίας δεν αποδεικνύει χρόνο αποκατάστασης. Η επόμενη συζήτηση συγκρίνει τις καταγραφές και την πρώτη ανεπίλυτη αδυναμία.



## Τι παραμένει ανοιχτό

Ο εθελοντικός οδηγός και ένα benchmark δεν πιστοποιούν υπηρεσία. Δικαιώματα, κόπωση χρηστών από εγκρίσεις και πραγματική αποκατάσταση χρειάζονται τοπικό έλεγχο.



## Το επόμενο ερώτημα

Μπορεί ο οργανισμός να αποδείξει ποιες ενέργειες αποκλείονται και πώς συνεχίζεται η υπηρεσία όταν διακοπεί ο βοηθός;



## Ήδη δημοσιευμένες απαντήσεις και τοποθετήσεις



### Yoshua Bengio

The catastrophic risks of AI — and a safer path · 2025-04-08

https://www.ted.com/talks/yoshua_bengio_the_catastrophic_risks_of_ai_and_a_safer_path?view=transcript

Ο Bengio διαχωρίζει τη χρήσιμη νοημοσύνη από την αυτόνομη επιδίωξη στόχων και προτείνει την επιστημονική ΤΝ ως ασφαλέστερη κατεύθυνση. Εξετάζει αν ένα χρήσιμο σύστημα χρειάζεται κατ’ ανάγκην μεγαλύτερη ελευθερία να ενεργεί ανεξάρτητα.



### Michalis Bletsas

Interview on cyberattacks and national resilience · 2026-11-04

https://cyber.gov.gr/einai-anapofeykto-oti-tha-ginoyn-kyvernoepitheseis-synenteyxi-toy-dioikiti-eak-michali-mpletsa-sti-dimosiografo-ilianna-magra/

Ο Μπλέτσας αντιμετωπίζει την ανθεκτικότητα ως εθνική και οικονομική δυνατότητα. Οι περιορισμένοι πόροι πρέπει να κατευθύνονται στις πιο κρίσιμες εξαρτήσεις, με σχέδιο αποκατάστασης έτοιμο πριν από μια επίθεση.



### NIST

Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile · 2024-07

https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

Το εθελοντικό πλαίσιο προτείνει δοκιμασμένη απόκριση σε συμβάντα, εναλλακτικές διαδικασίες και σαφείς αρμοδιότητες διακοπής ακατάλληλων συστημάτων. Αποτελεί οδηγό διαχείρισης κινδύνων, όχι πιστοποίηση ασφάλειας μιας υπηρεσίας.



### Debenedetti and colleagues

Defeating Prompt Injections by Design · 2025-06-24

https://arxiv.org/abs/2503.18813v2

Το CaMeL διαχωρίζει τις έγκυρες εντολές από μη έμπιστο περιεχόμενο και περιορίζει τα δικαιώματα των εργαλείων. Τα αποτελέσματα αφορούν συγκεκριμένο μοντέλο απειλών. Δεν εξαλείφουν το παραπλανητικό περιεχόμενο ούτε αποδεικνύουν ασφάλεια σε κάθε εφαρμογή.



## Πρόσωπα και τεκμήρια για την επόμενη συζήτηση



### Υπεύθυνος υπηρεσίας και εργαζόμενος πρώτης γραμμής

Δείξτε την εργασία που πρέπει να συνεχίζεται, την κανονική εναλλακτική και ποιος μπορεί να την εκτελέσει σε συνήθη βάρδια.

Χάρτης εξαρτήσεων, ρόλοι βάρδιας, καταγραφή εναλλακτικής διαδικασίας και μετρημένος χρόνος αποκατάστασης από άσκηση.



### Υπεύθυνος ασφάλειας και δημιουργός εφαρμογής

Ποιες ενέργειες ανάγνωσης, αποστολής και εγγραφής εμποδίζονται τεχνικά, ακόμη και αν τις ζητήσει εξωτερικό κείμενο;

Χάρτης δικαιωμάτων, συνθετική δοκιμή, αρχείο ενεργειών και όρια που δεν έχουν ελεγχθεί.



### Χρήστης που επηρεάζεται και ανεξάρτητος ελεγκτής

Μπορούσατε να εντοπίσετε και να αμφισβητήσετε παραπλανητική συμβουλή ακόμη και χωρίς μη εξουσιοδοτημένη ενέργεια;

Κατανοητή διαδικασία παραπόνου, παράδειγμα χωρίς προσωπικά στοιχεία και αρμόδιος απάντησης.



## Συνέχεια για τον συντονιστή

Το σημείωμα της τρίτης ημέρας διαχωρίζει την αποτροπή ενέργειας, τη διόρθωση συμβουλής και την αποκατάσταση υπηρεσίας. Ο συντονιστής ζητά ποιος μπορεί να παύσει, ποιος να επανεκκινήσει και ποια ανεξάρτητα στοιχεία χρειάζεται ο καθένας. Η άσκηση μεταφέρεται ως πρόταση, όχι ως ολοκληρωμένο συμβάν.



Καταγράψτε τη συμβολή, τι αλλάζει, τι παραμένει αβέβαιο και το επόμενο ερώτημα. Διατηρήστε το προηγούμενο σημείωμα. Το δημοσιευμένο υλικό πηγών διακρίνεται από κάθε νέα απάντηση συμμετέχοντα.
