Clear["Global`*"]
g1[x_,y_]:=r Cos[(x^2+y^2+w)^b]x+ r Sin[(x^2+y^2+w)^b] y
g2[x_,y_]:=-(1/r) Sin[(x^2+y^2+w)^b]x+ (1/r) Cos[(x^2+y^2+w)^b] y
g1[x,y]
g2[x,y]
M[x_,y_]={{D[g1[x,y],x], D[g1[x,y],y]},{D[g2[x,y],x],D[g2[x,y],y]}};
MatrixForm[M[x,y]] //Simplify
Det[M[x,y]]

M0=M[0,0]
Eigenvalues[M0]

xx=-4 (r^2)+(((-Cos[(w^b)]-(r^2) Cos[(w^b)]))^2);
sol=Solve[xx==0,r] //FullSimplify
stab[w_,b_]=r/.sol[[4]]

b=1.5;
w=Pi/6;
stab[w,b]

r=1.2;
x0=0.2; y0=-0.1;  (* unstable *)
trajectory={{x0,y0}};
n=100;
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
plottraj0=ListPlot[trajectory]

r=1.2;  (* Stability *)
n=100;
trajectory={}
x0=0.1; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
x0=0.25; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
x0=0.4; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
x0=0.5; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
x0=0.6; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]

plottraj0=ListPlot[trajectory, Frame->True]

r=1.6;  (* Instability *)
trajectory={}
n=200;
x0=0.005; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
n=100;
x0=0.15; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
x0=0.25; y0=0;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
x0=0.2; y0=-0.1;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]
x0=-0.2; y0=0.1;  (* unstable *)
For[i=1,i<n,i++, x1=g1[x0,y0]; y1=g2[x0,y0]; AppendTo[trajectory,{x1,y1}]; x0=x1;y0=y1;]

plottraj0=ListPlot[trajectory, Frame->True]