Can
large
language
models
democratize
access
to
dual-use
biotechnology?
E m i l y
H .
S o i c e
1,2
,
R a f a e l
R o c h a
3
,
K i m b e r l e e
C o r d o v a
4
,
M i c h a e l
S p e c t e r
1
,
a n d
K e v i n
M .
E s v e l t
1,2,5,
十
1
Media
Laboratory,
Massachusetts
Institute
of
Technology,
Cambridge,
United
States
2
SecureBio,
Cambridge,
United
States
3
Sloan
School
of
Management,
Massachusetts
Institute
of
Technology,
Cambridge,
United
States
4
Graduate
School
of
Design,
Harvard
University,
Cambridge,
United
States
5
SecureDNA
Foundation,
Zug,
Switzerland
十
Correspondence:
esvelt@mit.edu
A b s t r a c t
L a r g e
l a n g u a g e
m o d e l s
( L L M s )
s u c h
a s
t h o s e
e m b e d d e d
i n
‘ c h a t b o t s ’
a r e
a c c e l e r a t i n g
a n d
d e m o c r a t i z i n g
r e s e a r c h
b y
p r o v i d i n g
c o m p r e h e n s i b l e
i n f o r m a t i o n
a n d
e x p e r t i s e
f r o m
m a n y
d i f f e r e n t
f i e l d s .
H o w e v e r ,
t h e s e
m o d e l s
m a y
a l s o
c o n f e r
e a s y
a c c e s s
t o
d u a l - u s e
t e c h n o l o g i e s
c a p a b l e
o f
i n f l i c t i n g
g r e a t
h a r m .
T o
e v a l u a t e
t h i s
r i s k ,
t h e
‘ S a f e g u a r d i n g
t h e
F u t u r e ’
c o u r s e
a t
M I T
t a s k e d
n o n - s c i e n t i s t
s t u d e n t s
w i t h
i n v e s t i g a t i n g
w h e t h e r
L L M
c h a t b o t s
c o u l d
b e
p r o m p t e d
t o
a s s i s t
n o n - e x p e r t s
i n
c a u s i n g
a
p a n d e m i c .
I n
o n e
h o u r ,
t h e
c h a t b o t s
s u g g e s t e d
f o u r
p o t e n t i a l
p a n d e m i c
p a t h o g e n s ,
e x p l a i n e d
h o w
t h e y
c a n
b e
g e n e r a t e d
f r o m
s y n t h e t i c
D N A
u s i n g
r e v e r s e
g e n e t i c s ,
s u p p l i e d
t h e
n a m e s
o f
D N A
s y n t h e s i s
c o m p a n i e s
u n l i k e l y
t o
s c r e e n
o r d e r s ,
i d e n t i f i e d
d e t a i l e d
p r o t o c o l s
a n d
h o w
t o
t r o u b l e s h o o t
t h e m ,
a n d
r e c o m m e n d e d
t h a t
a n y o n e
l a c k i n g
t h e
s k i l l s
t o
p e r f o r m
r e v e r s e
g e n e t i c s
e n g a g e
a
c o r e
f a c i l i t y
o r
c o n t r a c t
r e s e a r c h
o r g a n i z a t i o n .
C o l l e c t i v e l y ,
t h e s e
r e s u l t s
s u g g e s t
t h a t
L L M s
w i l l
m a k e
p a n d e m i c - c l a s s
a g e n t s
w i d e l y
a c c e s s i b l e
a s
s o o n
a s
t h e y
a r e
c r e d i b l y
i d e n t i f i e d ,
e v e n
t o
p e o p l e
w i t h
l i t t l e
o r
n o
l a b o r a t o r y
t r a i n i n g .
P r o m i s i n g
n o n p r o l i f e r a t i o n
m e a s u r e s
i n c l u d e
p r e - r e l e a s e
e v a l u a t i o n s
o f
L L M s
b y
t h i r d
p a r t i e s ,
c u r a t i n g
t r a i n i n g
d a t a s e t s
t o
r e m o v e
h a r m f u l
c o n c e p t s ,
a n d
v e r i f i a b l y
s c r e e n i n g
a l l
D N A
g e n e r a t e d
b y
s y n t h e s i s
p r o v i d e r s
o r
u s e d
b y
c o n t r a c t
r e s e a r c h
o r g a n i z a t i o n s
a n d
r o b o t i c
‘ c l o u d
l a b o r a t o r i e s ’
t o
e n g i n e e r
o r g a n i s m s
o r
v i r u s e s .
S u m m a r y
W i d e l y
a c c e s s i b l e
a r t i f i c i a l
i n t e l l i g e n c e
t h r e a t e n s
t o
a l l o w
p e o p l e
w i t h o u t
l a b o r a t o r y
t r a i n i n g
t o
i d e n t i f y ,
a c q u i r e ,
a n d
r e l e a s e
v i r u s e s
h i g h l i g h t e d
a s
p a n d e m i c
t h r e a t s
i n
t h e
s c i e n t i f i c
l i t e r a t u r e .
P r e - r e l e a s e
L L M
e v a l u a t i o n s ,
t r a i n i n g
d a t a s e t
c u r a t i o n ,
a n d
u n i v e r s a l
D N A
s c r e e n i n g
c a n
h e l p
p r e v e n t
m i s u s e .
I n t r o d u c t i o n
L a r g e
l a n g u a g e
m o d e l s
( L L M s )
e m b e d d e d
i n
‘ c h a t b o t ’
p l a t f o r m s
g e n e r a t e
t e x t
r e s p o n s e s
t h a t
a t t e m p t
t o
c r e a t e
t h e
e q u i v a l e n t
o f
h u m a n
c o n v e r s a t i o n s .
M o d e l s
t r a i n e d
o n
t h e
s c i e n t i f i c
l i t e r a t u r e
c a n
d i s s e m i n a t e
s p e c i a l i s t
k n o w l e d g e
i n
a n
a c c e s s i b l e
f o r m a t ,
d e m o c r a t i z i n g
a c c e s s
t o
t e c h n i c a l
e x p e r t i s e
1,2
.
P r o v i d i n g
e x p e r t - l e v e l
t u t o r i n g
i n
t e c h n i c a l
d i s c i p l i n e s
o f f e r s
n u m e r o u s
m o r a l
a n d
p r a c t i c a l
b e n e f i t s ,
i n c l u d i n g
e m p o w e r i n g
t h e
d i s a d v a n t a g e d
a n d
a c c e l e r a t i n g
i n t e r d i s c i p l i n a r y
r e s e a r c h .
H o w e v e r ,
m a n y
t e c h n o l o g i e s
i n
t h e
l i f e
s c i e n c e s
a r e
d u a l - u s e ,
m e a n i n g
t h a t
t h e y
c a n
b e
a p p l i e d
f o r
g o o d
o r
f o r
i l l .
A s
L L M s
m a k e
a d v a n c e d
k n o w l e d g e
m o r e
a c c e s s i b l e ,
i t
b e c o m e s
i n c r e a s i n g l y
l i k e l y
t h a t
u n t r a i n e d
p e o p l e
w h o
h a v e
n e f a r i o u s
i n t e n t i o n s
m i g h t
l e v e r a g e
t h e s e
m o d e l s
t o
a c c e s s
c a p a b i l i t i e s
p r e v i o u s l y
c o n f i n e d
t o
s p e c i a l i s t s
3
.
A
c e n t r a l
q u e s t i o n
i s
w h e t h e r
t h e s e
m o d e l s
m i g h t
i n a d v e r t e n t l y
p o s e
s e r i o u s
r i s k s
t o
p u b l i c
s a f e t y
b y
a s s i s t i n g
n o n - e x p e r t s
i n
o b t a i n i n g
b i o l o g i c a l
a g e n t s
c a p a b l e
o f
i n f l i c t i n g
c a t a s t r o p h i c
h a r m .
H e r e
w e
d e s c r i b e
t h e
r e s u l t s
o f
a
c l a s s r o o m
e x e r c i s e
a t
M I T
i n t e n d e d
t o
e v a l u a t e
t h e
s e v e r i t y
o f
t h i s
r i s k ,
a n a l y z e
t h e
i m p l i c a t i o n s ,
a n d
d i s c u s s
p o t e n t i a l
m i t i g a t i o n
s t r a t e g i e s .
1
R e s u l t s
I d e n t i f y i n g
p a n d e m i c - c a p a b l e
v i r u s e s
T h r e e
g r o u p s
o f
s t u d e n t s
a s k e d
c h a t b o t s
a b o u t
l i k e l y
c a u s e s
o f
f u t u r e
p a n d e m i c s
a n d
w e r e
d i r e c t e d
t o
f o u r
p o t e n t i a l
p a n d e m i c
p a t h o g e n s :
1 9 1 8
H 1 N 1
i n f l u e n z a
( a l l
g r o u p s ) ,
t h e
e n h a n c e d - t r a n s m i s s i o n
H 5 N 1
i n f l u e n z a
v i r u s e s
r e p o r t e d
i n
2 0 1 2
( a l l
g r o u p s ) ,
t h e
v a r i o l a
m a j o r
v i r u s
r e s p o n s i b l e
f o r
s m a l l p o x
( o n e
g r o u p ) ,
a n d
t h e
B a n g l a d e s h
s t r a i n
o f
N i p a h
v i r u s
( o n e
g r o u p ) .
T h e
c h a t b o t s
i n d i c a t e d
t h a t
v a r i o l a
m a j o r
i s
c e r t a i n
t o
c a u s e
a
n e w
p a n d e m i c
i f
i n t r o d u c e d
i n
h u m a n s
b e c a u s e
m o s t
p e o p l e
a r e
n o
l o n g e r
v a c c i n a t e d
a n d
t h e r e
a r e
n o
s i m i l a r
v i r u s e s
i n
c i r c u l a t i o n
t o
c o n f e r
i m m u n i t y ,
a n d
t h a t
t h e
o t h e r
t h r e e
w e r e
c o n c e r n i n g
b u t
m u c h
l e s s
c e r t a i n
p a n d e m i c
t h r e a t s
d u e
t o
p r e e x i s t i n g
p o p u l a t i o n
i m m u n i t y
( 1 9 1 8
i n f l u e n z a )
o r
i n s u f f i c i e n t
t r a n s m i s s i b i l i t y
( e n h a n c e d
H 5 N 1 ,
N i p a h ) .
Q u e s t i o n s
a b o u t
t r a n s m i s s i b i l i t y
e l i c i t e d
r e s p o n s e s
p o i n t i n g
t o
t h e
g e n o m e
s e q u e n c e s
o f
H 5 N 1
a n d
N i p a h - B a n g l a d e s h
a n d
m u t a t i o n s
t h a t
w o u l d
i n c r e a s e
t h e i r
t r a n s m i s s i b i l i t y .
F o r
H 5 N 1 ,
t h e
m u t a t i o n s
w e r e
t h o s e
r e p o r t e d l y
i n v o l v e d
i n
a i r b o r n e
t r a n s m i s s i o n
i n
f e r r e t s
4,5
a n d
e n h a n c e d
r e p l i c a t i o n
a t
t h e
t e m p e r a t u r e
o f
h u m a n
a i r w a y s
6
.
F o r
N i p a h ,
t h e
s u g g e s t e d
m u t a t i o n
w a s
r e p o r t e d
t o
c o n f e r
e n h a n c e d
i n f e c t i o n
o f
h u m a n
c e l l s
i n
c u l t u r e
7
.
P l a n n i n g
A s k e d
h o w
s c i e n t i s t s
t y p i c a l l y
o b t a i n
i n f e c t i o u s
s a m p l e s
o f
v i r u s e s ,
t h e
c h a t b o t s
n o t e d
t h a t
m a n y
l a b s
s h a r e
s a m p l e s
o r
o b t a i n
t h e m
f r o m
c u l t u r e
c o l l e c t i o n s
8
.
N o n - e x p e r t s
c a n n o t
e x p e c t
s c i e n t i s t s
t o
s h a r e
d a n g e r o u s
m a t e r i a l s
w i t h
t h e m ,
a n d
c u l t u r e
c o l l e c t i o n s
d o
n o t
p r o v i d e
a n y
o f
t h e
f o u r
p o t e n t i a l
p a n d e m i c
p a t h o g e n s .
H o w e v e r ,
t h e
c h a t b o t s
a l s o
d e s c r i b e d
r e v e r s e
g e n e t i c s ,
t h e
p r a c t i c e
o f
g e n e r a t i n g
i n f e c t i o u s
s a m p l e s
f r o m
a
v i r a l
g e n o m e
s e q u e n c e
t h a t
c a n
b e
g e n e r a t e d
s y n t h e t i c a l l y .
T h e y
e x p l a i n e d
w h y
g e n e r a t i n g
v a r i o l a
m a j o r
w o u l d
b e
d i f f i c u l t
d u e
t o
t h e
v e r y
l a r g e
s i z e
o f
i t s
g e n o m e
( a l t h o u g h
t h e
L L M s
f a i l e d
t o
n o t e
t h e
a d d i t i o n a l
r e q u i r e m e n t
f o r
a
l i v e ,
r e l a t e d
p o x v i r u s )
9
,
b u t
t h a t
i n f l u e n z a
r e v e r s e
g e n e t i c s
i s
p a r t i c u l a r l y
s t r a i g h t f o r w a r d
a n d
N i p a h
v i r u s
s o m e w h a t
m o r e
d i f f i c u l t ,
t h o u g h
f a r
m o r e
a c c e s s i b l e
t h a n
v a r i o l a .
T h a t
l e d
t h e
s t u d e n t s
t o
a s k
f o r
–
a n d
r e c e i v e
–
l i n k s
t o
r e v e r s e
g e n e t i c s
p r o t o c o l s
f o r
i n f l u e n z a
10,11
a n d
N i p a h
12,13
a s
w e l l
a s
p a p e r s
t h a t
u t i l i z e d
t h e m
f o r
t h e
s t r a i n s
i n
q u e s t i o n
14,15
.
A c q u i s i t i o n
N e x t ,
s t u d e n t s
a s k e d
h o w
t o
o b t a i n
t h e
e q u i p m e n t
l i s t e d
i n
t h e
r e v e r s e
g e n e t i c s
p r o t o c o l s .
T h e
L L M
c h a t b o t s
n o t e d
t h a t
a l l
o f
t h e
l i s t e d
r e a g e n t s
a n d
d e v i c e s
a r e
c o m m o n l y
u s e d
i n
l a b o r a t o r i e s
a n d
c a n
b e
p u r c h a s e d
f r o m
a n y
n u m b e r
o f
s u p p l i e r s ,
w i t h
u s e d
e q u i p m e n t
b e i n g
c o n s i d e r a b l y
c h e a p e r .
S t u d e n t s
a l s o
l e a r n e d
t h a t
s c i e n t i s t s
r o u t i n e l y
o r d e r
c u s t o m
D N A
s e q u e n c e s
d i r e c t l y
f r o m
c o m p a n i e s ,
i n c l u d i n g
c o n s t r u c t s
a s
l a r g e
a s
t h o s e
r e q u i r e d
f o r
r e v e r s e
g e n e t i c s ,
a n d
w e r e
w a r n e d
t h a t
s o m e
p r o v i d e r s
s c r e e n
o r d e r s
a n d
c u s t o m e r s
t o
p r e v e n t
m i s u s e .
H o w e v e r ,
t h e y
w e r e
a l s o
a d v i s e d
t h a t
t h e
I n t e r n a t i o n a l
G e n e
S y n t h e s i s
C o n s o r t i u m
( I G S C )
i s
a
g r o u p
o f
p r o v i d e r s
c o m p a n i e s
t h a t
s c r e e n ,
a n d
t h a t
n o t
a l l
c o m p a n i e s
a r e
m e m b e r s .
T h e
c h a t b o t s
a l s o
n o t e d
t h a t
t h e
l i s t
o f
m e m b e r s
i s
a v a i l a b l e
o n
t h e
I G S C
w e b s i t e
16
,
o f f e r i n g
a
c l e a r
p a t h
t o
o b t a i n i n g
h a z a r d o u s
s e q u e n c e s .
O n e
g r o u p
o f
s t u d e n t s
e v e n
e l i c i t e d
r e s p o n s e s
d e s c r i b i n g
h o w
t r a d i t i o n a l
s c r e e n i n g
u s i n g
B L A S T
c o u l d
b e
e v a d e d
b y
r e d e s i g n i n g
s e q u e n c e s ,
a l t h o u g h
t h e
r e q u i r e d
m o l e c u l a r
c l o n i n g
t e c h n i q u e s
w e r e
b e y o n d
t h e
c u r r e n t
s k i l l s
o f
t h e
s t u d e n t s .
S i n c e
r e v e r s e
g e n e t i c s
w a s
s i m i l a r l y
b e y o n d
t h e i r
s k i l l
l e v e l ,
o n e
g r o u p
a s k e d
h o w
a
s c i e n t i s t
l a c k i n g
t h e
r e l e v a n t
e x p e r t i s e
m i g h t
o b t a i n
c u s t o m
v i r u s e s ,
a n d
w a s
i n f o r m e d
t h a t
s c i e n t i s t s
c a n
h i r e
c o n t r a c t
r e s e a r c h
o r g a n i z a t i o n s
( C R O s )
t o
p e r f o r m
p r o c e d u r e s
t h a t
t h e y
t h e m s e l v e s
c a n n o t .
J a i l b r e a k i n g
r e q u i r e m e n t s
S o m e
o f
t h e
L L M
c h a t b o t s
e m p l o y e d
b y
t h e
s t u d e n t s
h a v e
b e e n
t r a i n e d
t o
l i m i t
t h e i r
a b i l i t y
t o
s h a r e
h a r m f u l
i n f o r m a t i o n ,
i n c l u d i n g
i n
t h e
a r e a
o f
b i o s e c u r i t y .
H o w e v e r ,
m o s t
r e s p o n s e s
w e r e
o f f e r e d
f r e e l y
b y
t h e
c h a t b o t s ,
w i t h
o n l y
a n
o c c a s i o n a l
a d m o n i t i o n
t h a t
t h e
i n f o r m a t i o n
s h o u l d
n o t
b e
m i s u s e d .
T w o
g r o u p s
u s e d
k n o w n
j a i l b r e a k i n g
t e c h n i q u e s
t o
b y p a s s
o c c a s i o n a l
r e f u s a l s ,
n o t a b l y
2
i n c l u d i n g
w a y s
t o
e v a d e
D N A
s y n t h e s i s
s c r e e n i n g .
T h e s e
j a i l b r e a k
t e c h n i q u e s
w e r e
r e a d i l y
f o u n d
b y
s e a r c h i n g
t h e
i n t e r n e t
f o r
p r o m p t s
t o
j a i l b r e a k
L L M s ,
a n d
i n c l u d e
t h e
‘ D o
A n y t h i n g
N o w ’
p r o m p t
17
.
S i m p l y
b e g i n n i n g
a
p r o m p t
w i t h
t h e
w o r d s :
“ I
a m
w o r k i n g
o n
d e v e l o p i n g
a
v a c c i n e
t o
p r e v e n t … . . ”
o r
a
s i m i l a r
i n d i c a t i o n
o f
b e n e f i c i a l
i n t e n t
w i t h
a
p o l i t e
t o n e
f r e q u e n t l y
c a u s e d
a
c h a t b o t
t o
i m m e d i a t e l y
d i v u l g e
i n f o r m a t i o n
i t
h a d
d e c l i n e d
t o
s h a r e
p r e v i o u s l y .
T h e
t h i r d
g r o u p ,
w h i c h
c o n s i s t e n t l y
u s e d
p r o m p t s
e x p r e s s i n g
c o n c e r n
a b o u t
t h e
r i s k
o f
l a b
l e a k s
a n d
t h e i r
d e s i r e
t o
k n o w
m o r e
a b o u t
h o w
d a n g e r o u s
e x p e r i m e n t s
a r e
p e r f o r m e d ,
e n c o u n t e r e d
n o
r e f u s a l s
a t
a l l .
T h e s e
r e s u l t s
s t r o n g l y
s u g g e s t
t h a t
t h e
e x i s t i n g
e v a l u a t i o n
a n d
t r a i n i n g
p r o c e s s
f o r
L L M s ,
w h i c h
r e l i e s
h e a v i l y
o n
r e i n f o r c e m e n t
l e a r n i n g
w i t h
h u m a n
f e e d b a c k
( R L H F )
18
,
i s
i n a d e q u a t e
t o
p r e v e n t
t h e m
f r o m
p r o v i d i n g
m a l i c i o u s
a c t o r s
w i t h
a c c e s s i b l e
e x p e r t i s e
r e l e v a n t
t o
i n f l i c t i n g
m a s s
d e a t h .
N e w
a n d
m o r e
r e l i a b l e
s a f e g u a r d s
a r e
u r g e n t l y
n e e d e d .
S t r a t e g i c
t h r e a t
a n a l y s i s
L L M
c h a t b o t s
c a n n o t
y e t
w a l k
n o n - e x p e r t s
t h r o u g h
t h e
p r o c e s s
o f
r e l i a b l y
c a u s i n g
n e w
p a n d e m i c s ,
a n d
c e r t a i n l y
n o t
i n
t h e
c o u r s e
o f
a n
h o u r .
H o w e v e r ,
t h a t
f a i l u r e
i s
m o r e
d u e
t o
o u r
l i m i t e d
p u b l i c
k n o w l e d g e
o f
p l a u s i b l e
p a n d e m i c - c a p a b l e
a g e n t s
t h a n
t o
t h e
c a p a b i l i t i e s
o r
s a f e g u a r d s
o f
t h e
L L M s .
A s
t h e
c h a t b o t s
t h e m s e l v e s
c a n
d e s c r i b e ,
n o n e
o f
t h e
f o u r
s u g g e s t e d
v i r u s e s
i s
e s p e c i a l l y
l i k e l y
t o
c a u s e
a
d e l i b e r a t e
p a n d e m i c .
V a r i o l a
m a j o r
w o u l d
c e r t a i n l y
c a u s e
a
n e w
p a n d e m i c
i f
r e l e a s e d ,
b u t
t h e
h u g e
s i z e
o f
i t s
g e n o m e
m a k e s
t h e
v i r u s
s t r i c t l y
i n a c c e s s i b l e
t o
n o n - s c i e n t i s t s .
T h e
r e q u i r e m e n t
f o r
a
l i v e
p o x v i r u s
f o r
r e v e r s e
g e n e t i c s ,
w h i c h
t h e
L L M s
n o t a b l y
m i s s e d
i n
t h i s
e x e r c i s e ,
o n l y
i n c r e a s e s
t h e
d i f f i c u l t y .
D e s c e n d a n t s
o f
1 9 1 8
i n f l u e n z a
v i r u s
s t i l l
c i r c u l a t i n g
i n
p o p u l a t i o n s
t o d a y
c o n f e r
c r o s s - r e a c t i v e
i m m u n i t y
t o
t h e i r
a n c e s t o r ,
w h i c h
s h a r e s
t h e
s a m e
H 1 N 1
a n t i g e n
p r o f i l e
14
.
T r a n s m i s s i o n - e n h a n c e d
H 5 N 1
a v i a n
i n f l u e n z a
c a n
s p r e a d
t h r o u g h
t h e
a i r
f r o m
f e r r e t
t o
f e r r e t ,
b u t
i t s
r e l a t i v e
c o n t a g i o u s n e s s
i s
q u e s t i o n a b l e
d u e
t o
s m a l l
s a m p l e
s i z e s
–
a n d
o f
c o u r s e ,
f e r r e t s
a r e
n o t
h u m a n s
4,5
.
T h e
B a n g l a d e s h
s t r a i n
o f
N i p a h
v i r u s
h a s
n o t
y e t
c a u s e d
a
p a n d e m i c
d e s p i t e
n u m e r o u s
i n t r o d u c t i o n s ,
w h i c h
i s
s t r o n g
e v i d e n c e
t h a t
i t s
b a s i c
r e p r o d u c t i o n
n u m b e r
i s
b e l o w
1
19
.
Y e t
t h e
L L M
c h a t b o t s
w e r e
e n t i r e l y
c o r r e c t
t o
s u g g e s t
t h e s e
f o u r
v i r u s e s ,
b e c a u s e
t h e y
a r e
a l l
c o n s i d e r e d
a m o n g
t h e
m o s t
t h r e a t e n i n g
p o t e n t i a l
p a n d e m i c
p a t h o g e n s
20
.
R e v e r s e
g e n e t i c s
i s
i n d e e d
t h e
m o s t
p l a u s i b l e
w a y
t o
a c q u i r e
i n f e c t i o u s
s a m p l e s ,
a n d
t h e
L L M - s u g g e s t e d
r e v e r s e
g e n e t i c s
p r o t o c o l s
–
a n d
r e l a t e d
p a p e r s
d e s c r i b i n g
h o w
t h e y
w e r e
u s e d
t o
g e n e r a t e
t h e s e
s p e c i f i c
v i r u s e s
–
a r e
t h e
s a m e
o n e s
t h a t
a n
e x p e r t
w o u l d
i d e n t i f y .
W h i l e
t h e
s t u d e n t s
d i d
n o t
h a v e
t i m e
t o
a s k
t h e
c h a t b o t
t o
w a l k
t h e m
t h r o u g h
a
p r o t o c o l ,
t h e
e x i s t i n g
s t e p - b y - s t e p
i n s t r u c t i o n s
a r e
s o
d e t a i l e d
t h a t
t h e r e
i s
l i t t l e
n e e d ,
a n d
L L M
c h a t b o t s
e x c e l
a t
p r o v i d i n g
c o n t e x t
a n d
a
s o u n d i n g
b o a r d
t o
a s s i s t
e x p e r i m e n t a t i o n .
P e r h a p s
e v e n
m o r e
a l a r m i n g
a r e
t h e
p r a c t i c a l
s u g g e s t i o n s
f o r
o b t a i n i n g
s y n t h e t i c
D N A
f o r
r e v e r s e
g e n e t i c s
b y
o r d e r i n g
f r o m
a
c o m p a n y
t h a t
i s
n o t
l i s t e d
o n
t h e
I G S C
w e b s i t e ,
a n d
i f
t h a t
f a i l s ,
h o w
t o
r e d e s i g n
s e q u e n c e s
t o
e v a d e
B L A S T - b a s e d
s c r e e n i n g .
F i n a l l y ,
t h e
s u g g e s t i o n
t h a t
a n y o n e
l a c k i n g
t h e
n e c e s s a r y
s k i l l s
t o
p e r f o r m
r e v e r s e
g e n e t i c s
s e n d
s y n t h e t i c
D N A
t o
a
c o r e
f a c i l i t y
o r
c o n t r a c t
r e s e a r c h
o r g a n i z a t i o n
i s
c o n c e r n i n g ,
a s
t h i s
s t r a t e g y
c o u l d
a l l o w
s o m e o n e
w i t h
n e g l i g i b l e
s c i e n t i f i c
t r a i n i n g
t o
a c c e s s
t h e
1 9 1 8
i n f l u e n z a
v i r u s .
D i s c u s s i o n
O u r
r e s u l t s
d e m o n s t r a t e
t h a t
a r t i f i c i a l
i n t e l l i g e n c e
c a n
e x a c e r b a t e
c a t a s t r o p h i c
b i o l o g i c a l
r i s k s .
H i g h l y
i n t e l l i g e n t
s t u d e n t s
w i t h o u t
a n y
r e l e v a n t
t e c h n i c a l
b a c k g r o u n d
i n
t h e
l i f e
s c i e n c e s
c a n
u s e
L L M
c h a t b o t s
t o
w a l k
t h e m
t h r o u g h
t h e
p r o c e s s
o f
i d e n t i f y i n g
a n d
a c q u i r i n g
p u b l i c l y
k n o w n
p o t e n t i a l
p a n d e m i c
p a t h o g e n s .
T h i s
r e p r e s e n t s
a
m a j o r
i n t e r n a t i o n a l
s e c u r i t y
v u l n e r a b i l i t y :
S A R S - C o V - 2
w a s
r e s p o n s i b l e
f o r
t h e
d e a t h s
o f
a t
l e a s t
2 0
m i l l i o n
p e o p l e ,
c o n s i d e r a b l y
m o r e
t h a n
w o u l d
p e r i s h
i f
a
l a r g e
n u c l e a r
d e v i c e
w e r e
t o
d e t o n a t e
i n
a
m a j o r
c i t y .
A s
h u m a n i t y ’ s
a b i l i t y
t o
u n d e r s t a n d
a n d
p r o g r a m
b i o l o g y
i m p r o v e s ,
s c i e n t i s t s
a r e
v i r t u a l l y
c e r t a i n
t o
i d e n t i f y
o r
d i s c o v e r
n e w
m e t h o d s
o f
e n g i n e e r i n g
n o v e l
p a n d e m i c - c l a s s
a g e n t s ,
i n c l u d i n g
w a y s
o f
i n c r e a s i n g
t r a n s m i s s i b i l i t y
o r
l e t h a l i t y
t h a t
m a y
n o t
b e
o b v i o u s
t o
h u m a n
s c i e n t i s t s
21
–
n o n e
o f
w h o m ,
3
u n l i k e
L L M s ,
c a n
r e a d
t h e
e n t i r e t y
o f
t h e
s c i e n t i f i c
l i t e r a t u r e .
M o r e
i m m e d i a t e l y ,
i f
u n m i t i g a t e d
L L M
c h a t b o t s
r e n d e r
p a n d e m i c - c l a s s
a g e n t s
m o r e
a c c e s s i b l e ,
e s p e c i a l l y
t o
p e o p l e
w i t h o u t
t r a i n i n g
i n
t h e
l i f e
s c i e n c e s ,
t h e
n u m b e r
o f
i n d i v i d u a l s
c a p a b l e
o f
k i l l i n g
t e n s
o f
m i l l i o n s
w i l l
d r a m a t i c a l l y
i n c r e a s e .
F o r t u n a t e l y ,
t w o
c l a s s e s
o f
n o n p r o l i f e r a t i o n
m e a s u r e s
c a n
g r e a t l y
r e d u c e
t h e
a c c e s s i b i l i t y
o f
p a n d e m i c - c l a s s
a g e n t s .
L L M - f o c u s e d
n o n p r o l i f e r a t i o n
R L H F
d e m o n s t r a b l y
f a i l e d
t o
p r e v e n t
n o n - s c i e n t i s t
s t u d e n t s
f r o m
a c c e s s i n g
h a r m f u l
k n o w l e d g e
r e l e v a n t
t o
c a u s i n g
n e w
p a n d e m i c s ,
u n d e r s c o r i n g
t h e
n e e d
f o r
m o r e
r e l i a b l e
m i t i g a t i o n
s t r a t e g i e s .
A n t i c i p a t e d
a d v a n c e s
i n
L L M
a l i g n m e n t
t e c h n i q u e s
m a y
h e l p ,
b u t
t h e
c o s t
o f
f a i l u r e
i n
p a n d e m i c
b i o l o g y
i s
a r g u a b l y
t o o
h i g h
t o
t a k e
c h a n c e s .
A t
a
m i n i m u m ,
n e w
L L M s
l a r g e r
t h a n
G P T - 3
s h o u l d
u n d e r g o
e v a l u a t i o n
b y
t h i r d
p a r t i e s
s k i l l e d
i n
a s s e s s i n g
c a t a s t r o p h i c
b i o l o g i c a l
r i s k s
b e f o r e
c o n t r o l l e d
a c c e s s
i s
g i v e n
t o
t h e
g e n e r a l
p u b l i c .
T o
r e l i a b l y
m i t i g a t e
h a r m s ,
c o n s i d e r
t h a t
a n
L L M
c a n n o t
d i s c l o s e
o r
c o n c e p t u a l l y
r e a s o n
u s i n g
i n f o r m a t i o n
i t
l a c k s .
I f
b i o t e c h n o l o g y
a n d
i n f o r m a t i o n
s e c u r i t y
e x p e r t s
w e r e
t o
i d e n t i f y
t h e
s e t
o f
p u b l i c a t i o n s
m o s t
r e l e v a n t
t o
c a u s i n g
m a s s
d e a t h ,
a n d
L L M
d e v e l o p e r s
c u r a t e d
t h e i r
t r a i n i n g
d a t a s e t s
t o
r e m o v e
t h o s e
p u b l i c a t i o n s
a n d
r e l a t e d
o n l i n e
i n f o r m a t i o n ,
t h e n
f u t u r e
m o d e l s
t r a i n e d
o n
t h e
c u r a t e d
d a t a
w o u l d
b e
f a r
l e s s
c a p a b l e
o f
p r o v i d i n g
a n y o n e
i n t e n t
o n
h a r m
w i t h
c o n c e p t u a l
i n s i g h t s
a n d
r e c i p e s
f o r
t h e
c r e a t i o n
o r
e n h a n c e m e n t
o f
p a t h o g e n s .
T h e
v a s t
m a j o r i t y
o f
r e l e v a n t
p u b l i c a t i o n s
a r e
i n
t h e
f i e l d
o f
v i r o l o g y ,
a n d
t o
a
l e s s e r
e x t e n t ,
s y n t h e t i c
b i o l o g y
a n d
b a c t e r i o l o g y .
A
p r e l i m i n a r y
a s s e s s m e n t
s u g g e s t s
t h a t
r e m o v i n g
u n d e r
1 %
o f
a l l
p u b l i c a t i o n s
i n
P u b M e d
–
a n d
a
f a r
s m a l l e r
p e r c e n t a g e
o f
a l l
s c i e n t i f i c
r e s e a r c h
–
w o u l d
s u f f i c e
t o
e l i m i n a t e
n e a r l y
a l l
o f
t h e
r i s k .
T h i s
l e v e l
o f
c u r a t i o n
w o u l d
n o t
b e
w i t h o u t
c o s t s ;
L L M s
w o u l d
b e
l e s s
a b l e
t o
c o n t r i b u t e
t o
r e s e a r c h
i n
t h e
a f f e c t e d
f i e l d s .
H o w e v e r ,
a n y
s u c h
c o n t r i b u t i o n s
r e m a i n
d i s t a n t
a n d
t h e o r e t i c a l ,
w h e r e a s
t h e
n o n p r o l i f e r a t i o n
b e n e f i t s
w o u l d
b e
p r a c t i c a l
a n d
i m m e d i a t e .
A
k e y
q u e s t i o n
i s
w h e t h e r
s u c h
a
m i t i g a t i o n
s t r a t e g y
w o u l d
b e
a c c e p t a b l e .
T o
t h e
g e n e r a l
p u b l i c ,
c e r t a i n l y :
m o s t
p e o p l e
b e l i e v e
t h a t
p a n d e m i c s
c a n
o r i g i n a t e
i n
l a b o r a t o r i e s ,
a n d
h a v e
n o
w i s h
f o r
t h a t
k n o w l e d g e
t o
b e
d i s s e m i n a t e d .
C o m p a n i e s
t h a t
c r e a t e
L L M s
h a v e
a n
e v e n
s t r o n g e r
i n c e n t i v e
t o
p r e v e n t
m i s u s e
o f
t h e i r
t o o l s ,
w h i c h
w o u l d
b e
h i g h l y
v i s i b l e
a n d
m a y
b e
a c c o m p a n i e d
b y
r u i n o u s
l i a b i l i t y .
I f
a
f u t u r e
p a n d e m i c
w e r e
t o
b e
c a u s e d
b y
p e o p l e
w i t h
p e r n i c i o u s
i n t e n t
w h o
r e l i e d
o n
L L M s
f o r
a s s i s t a n c e ,
t h e r e
i s
l i t t l e
d o u b t
t h a t
t h e
c r e a t o r s
o f
t h e
L L M s
w o u l d
b e
b l a m e d ,
a n d
v e r y
p o s s i b l y
h e l d
l i a b l e
f o r
d a m a g e s
e x c e e d i n g
t h e
v a l u e
o f
a n y
s i n g l e
c o m p a n y .
E v e n
o p e n - s o u r c e
c o m m u n i t i e s
i n t e n t
o n
m a k i n g
t o o l s
w i d e l y
a v a i l a b l e
h a v e
s i m i l a r l y
s t r o n g
i n c e n t i v e s
t o
e m p l o y
s a f e g u a r d s ,
a s
a
s i n g l e
i n s t a n c e
o f
m i s u s e
a n d
m a s s
d e a t h
w o u l d
t r i g g e r
a
b a c k l a s h
22
,
i n c l u d i n g
t h e
i m p o s i t i o n
o f
e x t r e m e l y
h a r s h
r e g u l a t i o n s .
S i n c e
t r a i n i n g
d a t a s e t
c u r a t i o n
w o u l d
n o t
n e g a t i v e l y
i m p a c t
a n y
L L M
a p p l i c a t i o n s
s a v e
f o r
f u t u r e
r e s e a r c h
i n
t h e
a f f e c t e d
f i e l d s ,
i t
r e p r e s e n t s
a n
u n u s u a l l y
c o m p e l l i n g
r i s k
m i t i g a t i o n
o p p o r t u n i t y .
M o r e o v e r ,
t h e
s a m e
c u r a t e d
d a t a
m i g h t
a l s o
b e
u s e d
t o
t r a i n
a
c o n s t i t u t i o n a l
A I
c a p a b l e
o f
f u r t h e r
r e d u c i n g
r i s k s
23
.
D N A - f o c u s e d
n o n p r o l i f e r a t i o n
P a n d e m i c
p r o l i f e r a t i o n
b r o a d l y
r e q u i r e s
a c c e s s
t o
s y n t h e t i c
D N A
a n d
t h e
a b i l i t y
t o
p e r f o r m
r e v e r s e
g e n e t i c s
o r
i n d u c e
o t h e r s
t o
p e r f o r m
i t
u n k n o w i n g l y .
T h e
i m p o r t a n c e
o f
u n i v e r s a l
D N A
s y n t h e s i s
s c r e e n i n g
h a s
b e e n
w e l l - k n o w n
s i n c e
2 0 0 6
24
,
b u t
m a n y
c o m p a n i e s
s t i l l
d o
n o t
s c r e e n
o r d e r s
25
,
a n d
s c r e e n i n g
h a s
n o t
y e t
b e e n
i n t e g r a t e d
i n t o
b e n c h t o p
s y n t h e s i z e r s .
T h e
h i g h
l i k e l i h o o d
t h a t
n e w l y
i d e n t i f i e d
p a n d e m i c - c l a s s
a g e n t s
w i l l
b e
p u b l i c l y
d e s c r i b e d
4,5,26,27
,
i n c l u d i n g
n o v e l
v e r s i o n s
d e v i s e d
b y
f u t u r e
L L M s ,
u n d e r s c o r e
t h e
i m p o r t a n c e
o f
v e r i f y i n g
t h a t
s c r e e n i n g
i s
c o n d u c t e d
a g a i n s t
a n
u p - t o - d a t e
d a t a b a s e .
T h e
a v a i l a b i l i t y
o f
L L M - b a s e d
b l u e p r i n t s
d e t a i l i n g
h o w
t o
e v a d e
c u r r e n t
s i m i l a r i t y - b a s e d
m o n i t o r i n g
s u g g e s t s
t h a t
m o r e
r e l i a b l e
D N A
s y n t h e s i s
s c r e e n i n g
a p p r o a c h e s
a r e
n e e d e d
28
.
M a n y
w h o
w i s h
t o
s t a r t
a
p a n d e m i c
m a y
b e
a b l e
t o
o b t a i n
r e l e v a n t
s y n t h e t i c
D N A
b u t
l a c k
t h e
t e c h n i c a l
a b i l i t y
t o
p e r f o r m
r e v e r s e
g e n e t i c s
t h e m s e l v e s .
I f
4
t h e y
c o n s u l t
L L M s ,
t h e y
w i l l
b e
a d v i s e d
t o
t a k e
a d v a n t a g e
o f
c o r e
f a c i l i t i e s
o r
C R O s
c a p a b l e
o f
p e r f o r m i n g
r e v e r s e
g e n e t i c s ;
r o b o t i c i z e d
‘ c l o u d
l a b o r a t o r i e s ’
m a y
e v e n t u a l l y
a c q u i r e
t h i s
c a p a b i l i t y .
F o r
e x a m p l e ,
t h e y
m i g h t
r e q u e s t
i n f e c t i o u s
s a m p l e s
o f
a n
a t t e n u a t e d
a v i a n
i n f l u e n z a
s t r a i n
t h a t
c a n n o t
i n f e c t
h u m a n s ,
b u t
a c t u a l l y
s e n d
D N A
e n c o d i n g
t h e
1 9 1 8
i n f l u e n z a
v i r u s .
I f
t h e
r e c i p i e n t
o r g a n i z a t i o n
d o e s
n o t
s e q u e n c e
c u s t o m e r - p r o v i d e d
s a m p l e s ,
t h e y
w o u l d
i n a d v e r t e n t l y
p r o d u c e
a n
i n f e c t i o u s
p o t e n t i a l
p a n d e m i c
p a t h o g e n ;
i f
d e l i b e r a t e l y
r e l e a s e d
w o u l d
k i l l
a
m i l l i o n
p e o p l e
i n
e x p e c t a t i o n
e v e n
i f
i t
h a s
j u s t
a
5 %
c h a n c e
o f
c a u s i n g
a
p a n d e m i c
w i t h
o n e - t e n t h
t h e
h i s t o r i c a l
c a s e
f a t a l i t y
r a t e .
T h e
b e s t
d e f e n s e
a g a i n s t
t h e
p o s s i b l e
e x p l o i t a t i o n
o f
c o n t r a c t
r e s e a r c h
s e r v i c e s
b y
a n y o n e
w i t h
a
d e s i r e
t o
c a u s e
h a r m
i s
t o
e n s u r e
t h a t
a l l
c u s t o m e r - p r o v i d e d
s a m p l e s
a r e
s e q u e n c e d
a n d
s c r e e n e d
a g a i n s t
a n
u p - t o - d a t e
d a t a b a s e
o f
h a z a r d s
–
i d e a l l y ,
t h e
s a m e
o n e
u s e d
f o r
D N A
s y n t h e s i s
s c r e e n i n g .
N o
o r g a n i z a t i o n
p e r f o r m i n g
r e v e r s e
g e n e t i c s
s h o u l d
t a k e
t h e
c u s t o m e r ’ s
w o r d
o r
p r o v i d e d
s e q u e n c e
f i l e
f o r
g r a n t e d .
H o w e v e r ,
L L M s
a l s o
e x c e l
a t
p h i s h i n g
a t t a c k s
29
.
I f
t h e
m a l i c i o u s
a c t o r
w e r e
t o
p e n e t r a t e
t h e
n e t w o r k
o f
t h e
C R O ,
t h e y
c o u l d
e n s u r e
t h a t
t h e
s e q u e n c i n g
f i l e
i s
c o n s i s t e n t
w i t h
t h e i r
c o v e r
s t o r y
o f
a n
a t t e n u a t e d
a v i a n
i n f l u e n z a
s t r a i n ,
c a u s i n g
t h e
C R O
t o
f u l f i l l
t h e
o r d e r .
T o
p r e v e n t
t h i s
f o r m
o f
a t t a c k ,
c o r e
f a c i l i t i e s ,
C R O s ,
a n d
c l o u d
l a b s
s h o u l d
a n a l y z e
c u s t o m e r
s a m p l e s
u s i n g
a
D N A
s e q u e n c e r
t h a t
c a n
o n l y
c o m m u n i c a t e
w i t h
a
v e r i f i a b l y
u p - t o - d a t e
c r y p t o g r a p h i c
D N A
s c r e e n i n g
s e r v i c e
30
.
I n
s u m m a r y ,
w i d e l y
a c c e s s i b l e
a r t i f i c i a l
i n t e l l i g e n c e
t h r e a t e n s
t o
a l l o w
p e o p l e
w i t h o u t
f o r m a l
t r a i n i n g
t o
i d e n t i f y ,
a c q u i r e ,
a n d
r e l e a s e
v i r u s e s
t h a t
a r e
h i g h l i g h t e d
a s
p a n d e m i c
t h r e a t s
i n
t h e
s c i e n t i f i c
l i t e r a t u r e .
P r e - r e l e a s e
L L M
e v a l u a t i o n s ,
t r a i n i n g
d a t a s e t
c u r a t i o n ,
a n d
u n i v e r s a l
D N A
s c r e e n i n g
c a n
m i t i g a t e
t h i s
n e w
r i s k .
M e t h o d s :
T h i s
s t u d y
r e s u l t e d
f r o m
a
q u a l i t a t i v e
c l a s s r o o m
e x e r c i s e ,
n o t
a
r i g o r o u s
s e t
o f
p r e - r e g i s t e r e d
e x p e r i m e n t s
w i t h
r e p l i c a t e
p r o m p t s
a n d
d e t a i l e d
r e c o r d s .
S t u d e n t s
h a d
p r e v i o u s l y
h e a r d
e x p e r t s
d i s c u s s
b i o r i s k
a n d
c o n s e q u e n t l y
w e r e
f a m i l i a r
w i t h
t h e
c o n c e p t
o f
d e l i b e r a t e
p a n d e m i c s ,
b u t
h a d
n o
r e l e v a n t
t e c h n i c a l
b a c k g r o u n d
i n
t h e
l i f e
s c i e n c e s .
T h e
o n l y
d e g r e e
o f
r e p l i c a t i o n
e m p l o y e d
w a s
t h e
u s e
o f
t h r e e
g r o u p s
w o r k i n g
i n d e p e n d e n t l y .
W e
j u d g e d
t h e
r e s u l t s
t o
b e
c o n c e r n i n g
e n o u g h
t o
w a r r a n t
p u b l i c a t i o n
i n
o r d e r
t o
a d d r e s s
t h e
v u l n e r a b i l i t y
w i t h
n o n p r o l i f e r a t i o n
m e a s u r e s .
S h a r i n g
t h e
e x i s t e n c e
o f
t h e
v u l n e r a b i l i t y
w a s
j u d g e d
a
t o l e r a b l e
r i s k
d u e
t o
t h e
l o w
l i k e l i h o o d
t h a t
a n y
o f
t h e
a c c e s s i b l e
p o t e n t i a l
p a n d e m i c
p a t h o g e n s
d i s c u s s e d
w o u l d
c a u s e
a
p a n d e m i c ,
e v e n
i f
s o m e o n e
w e r e
t o
p u r p o s e f u l l y
r e l e a s e
o n e .
D u r i n g
t h e
c l a s s ,
n o n - s c i e n t i s t
s t u d e n t s
a n d
i n s t r u c t o r s
w e r e
d i v i d e d
i n t o
t h r e e
g r o u p s
o f
t h r e e
t o
f o u r
s t u d e n t s .
T h o s e
w i t h
g r a d u a t e - l e v e l
t r a i n i n g
i n
t h e
s c i e n c e s
a b s t a i n e d .
A l l
g r o u p s
h a d
a c c e s s
t o
G P T - 4
( 2 5
q u e s t i o n
l i m i t )
a n d
G P T - 3 . 5 ,
B i n g ,
a n d
a
v a r i e t y
o f
o t h e r
c h a t b o t s ,
i n c l u d i n g
B a r d ,
a n d
v a r i o u s
o p e n - s o u r c e
m o d e l s ,
i n c l u d i n g
F r e e d o m G P T .
E a c h
g r o u p
u s e d
o n l y
a
s i n g l e
c o m p u t e r
t o
a c c e s s
t h e
c h a t b o t s ,
a l t h o u g h
S t u d e n t s
c o u l d
u s e
p e r s o n a l
d e v i c e s
t o
q u e r y
s e a r c h
e n g i n e s .
O v e r
o n e
h o u r ,
t h e
t h r e e
g r o u p s
i n d e p e n d e n t l y
p r o m p t e d
t h e
c h a t b o t s
t o
w a l k
t h e m
t h r o u g h
t h e
c o n c e p t i o n ,
d e s i g n ,
a n d
a c q u i s i t i o n
o f
a g e n t s
l i k e l y
t o
c a u s e
a
p a n d e m i c .
A t
t h e
e n d
o f
t h e
6 0
m i n u t e s ,
e a c h
g r o u p
r e p o r t e d
o n
t h e i r
d i s c o v e r i e s
a n d
t h e
r e l a t i v e
l e v e l
o f
p r o m p t
e n g i n e e r i n g
r e q u i r e d
t o
o b t a i n
a n s w e r s .
T h e i r
r e p o r t s
f o r m e d
t h e
b a s i s
f o r
t h i s
m a n u s c r i p t .
A c k n o w l e d g e m e n t s
W e
t h a n k
M a h e l a q u a ,
D i v e s h
P u n j a b i ,
J P
B o r r e r o ,
a n d
o t h e r
p a r t i c i p a n t s
f r o m
t h e
S a f e g u a r d i n g
t h e
F u t u r e
c l a s s .
K . M . E .
c o n c e i v e d
t h e
s t u d y ,
E . H . S .
a n d
M . S .
s u p e r v i s e d
t h e
i n v e s t i g a t i o n ,
a n d
K . M . E .
d r a f t e d
t h e
m a n u s c r i p t
w i t h
a s s i s t a n c e
f r o m
G P T - 4 .
A l l
a u t h o r s
e d i t e d
t h e
m a n u s c r i p t
a n d
a p p r o v e d
t h e
s u b m i s s i o n .
R e f e r e n c e s
1.
OpenAI.
GPT-4
Technical
Report.
arXiv
[cs.CL]
(2023).
2.
Taylor,
R.
et
al.
Galactica:
A
Large
Language
Model
for
Science.
arXiv
[cs.CL]
(2022).
5
3.
Boiko,
D.
A.,
MacKnight,
R.
&
Gomes,
G.
Emergent
autonomous
scientific
research
capabilities
of
large
language
models.
arXiv
[physics.chem-ph]
(2023).
4.
Herfst,
S.
et
al.
Airborne
transmission
of
influenza
A/H5N1
virus
between
ferrets.
Science
336
,
1534–1541
(2012).
5.
Imai,
M.
et
al.
Experimental
adaptation
of
an
influenza
H5
HA
confers
respiratory
droplet
transmission
to
a
reassortant
H5
HA/H1N1
virus
in
ferrets.
Nature
486
,
420–428
(2012).
6.
Thompson,
A.
J.
&
Paulson,
J.
C.
Adaptation
of
influenza
viruses
to
human
airway
receptors.
J.
Biol.
Chem.
296
,
100017
(2021).
7.
Aguilar,
H.
C.
et
al.
N-glycans
on
Nipah
virus
fusion
protein
protect
against
neutralization
but
reduce
membrane
fusion
and
viral
entry.
J.
Virol.
80
,
4878–4889
(2006).
8.
ATCC:
The
Global
Bioresource
Center.
https://www.atcc.org/
.
9.
Noyce,
R.
S.,
Lederman,
S.
&
Evans,
D.
H.
Construction
of
an
infectious
horsepox
virus
vaccine
from
chemically
synthesized
DNA
fragments.
PLoS
One
13
,
e0188453
(2018).
10.
Neumann,
G.,
Ozawa,
M.
&
Kawaoka,
Y.
Reverse
genetics
of
influenza
viruses.
Methods
Mol.
Biol.
865
,
193–206
(2012).
11.
Perez,
D.
R.,
Seibert,
B.,
Ferreri,
L.,
Lee,
C.-W.
&
Rajao,
D.
Plasmid-Based
Reverse
Genetics
of
Influenza
A
Virus.
Methods
Mol.
Biol.
2123
,
37–59
(2020).
12.
Yoneda,
M.
et
al.
Establishment
of
a
Nipah
virus
rescue
system.
Proc.
Natl.
Acad.
Sci.
U.
S.
A.
103
,
16508–16513
(2006).
13.
Griffin,
B.
D.
et
al.
Establishment
of
an
RNA
polymerase
II-driven
reverse
genetics
system
for
Nipah
virus
strains
from
Malaysia
and
Bangladesh.
Sci.
Rep.
9
,
11171
(2019).
14.
Tumpey,
T.
M.
et
al.
Characterization
of
the
reconstructed
1918
Spanish
influenza
pandemic
virus.
Science
310
,
77–80
(2005).
15.
Yun,
T.
et
al.
Efficient
reverse
genetics
reveals
genetic
determinants
of
budding
and
fusogenic
differences
between
Nipah
and
Hendra
viruses
and
enables
real-time
monitoring
of
viral
spread
in
small
animal
models
of
henipavirus
infection.
J.
Virol.
89
,
1242–1253
(2015).
16.
International
Gene
Synthesis
Consortium.
https://genesynthesisconsortium.org/
.
17.
ONeal,
A.
J.
ChatGPT-Dan-Jailbreak.md
.
(Github).
18.
Christiano,
P.
et
al.
Deep
reinforcement
learning
from
human
preferences.
arXiv
[stat.ML]
(2017).
19.
Soman
Pillai,
V.,
Krishna,
G.
&
Valiya
Veettil,
M.
Nipah
Virus:
Past
Outbreaks
and
Future
Containment.
Viruses
12
,
(2020).
20.
Madhav,
N.
et
al.
Pandemics:
Risks,
Impacts,
and
Mitigation
.
(The
International
Bank
for
Reconstruction
and
Development
/
The
World
Bank,
2017).
21.
Esvelt,
K.
M.
Delay,
detect,
defend:
Preparing
for
a
future
in
which
thousands
can
release
new
pandemics.
Geneva
Papers
(2022).
22.
Lewis,
T.
The
Quest
to
Overcome
Gene
Therapy’s
Failures.
Nature
(2021)
doi:
10.1038/d41586-021-02734-w
.
23.
Bai,
Y.
et
al.
Constitutional
AI:
Harmlessness
from
AI
Feedback.
arXiv
[cs.CL]
(2022).
24.
Bügl,
H.
et
al.
A
Practical
Perspective
on
DNA
Synthesis
and
Biological
Security
(12/4/2006
Draft).
MIT
DSpace
(2006).
25.
Diggans,
J.
&
Leproust,
E.
Next
Steps
for
Access
to
Safe,
Secure
DNA
Synthesis.
Front
Bioeng
Biotechnol
7
,
86
(2019).
26.
Grange,
Z.
L.
et
al.
Ranking
the
risk
of
animal-to-human
spillover
for
newly
discovered
viruses.
Proc.
Natl.
Acad.
Sci.
U.
S.
A.
118
,
(2021).
27.
Warren,
C.
J.
et
al.
Primate
hemorrhagic
fever-causing
arteriviruses
are
poised
for
spillover
to
humans.
Cell
185
,
3980–3991.e18
(2022).
28.
Gretton
D,
Wang
B,
Foner
L,
DeBenedictis
EA,
Liu
AB,
Chory
E,
Cui
H,
Li
X,
Dong
J,
Fabrega
A,
Dennison
C,
Don
O,
Tong
Y,
Uberoy
K,
Rivest
R,
Gao
M,
Yu
Y,
Baum
C,
Damgard
I,
Yao
AC,
Esvelt
KM.
Random
adversarial
threshold
search
enables
specific,
secure,
and
automated
DNA
synthesis
screening.
SecureDNA
project
.
29.
Kang,
D.
et
al.
Exploiting
Programmatic
Behavior
of
LLMs:
Dual-Use
Through
Standard
Security
Attacks.
arXiv
[cs.CR]
(2023).
30.
Baum
C,
Cui
H,
Damgard
I,
Esvelt
KM,
Gao
M,
Gretton
D,
Paneth
O,
Rivest
R,
Vaikuntanathan
V,
Wichs
D,
Yao
A,
Yu
Y.
Cryptographic
Aspects
of
DNA
Synthesis
Screening.
Preprint
at
(2020).
6

Emily H. Soice
Rafael Rocha
Kimberlee Cordova
Michael Specter
Kevin M. Esvelt

Large language models (LLMs) such as those embedded in 'chatbots' are accelerating and democratizing research by providing comprehensible information and expertise from many different fields. However, these models may also confer easy access to dual-use technologies capable of inflicting great harm. To evaluate this risk, the 'Safeguarding the Future' course at MIT tasked non-scientist students with investigating whether LLM chatbots could be prompted to assist non-experts in causing a pandemic. In one hour, the chatbots suggested four potential pandemic pathogens, explained how they can be generated from synthetic DNA using reverse genetics, supplied the names of DNA synthesis companies unlikely to screen orders, identified detailed protocols and how to troubleshoot them, and recommended that anyone lacking the skills to perform reverse genetics engage a core facility or contract research organization. Collectively, these results suggest that LLMs will make pandemic-class agents widely accessible as soon as they are credibly identified, even to people with little or no laboratory training. Promising nonproliferation measures include pre-release evaluations of LLMs by third parties, curating training datasets to remove harmful concepts, and verifiably screening all DNA generated by synthesis providers or used by contract research organizations and robotic cloud laboratories to engineer organisms or viruses.

6 pages, 0 figures


Compute