Na drzwiach wisiała tabliczka: „Jan Karol Benisz, naczelnik Miejskiego Biura Aprowizacji”. Przed wojną był naczelnikiem Urzędu Skarbowego w Mysłowicach, ale został stamtąd wysiedlony i tak trafił do Gorlic. Teraz odpowiadał w mieście m.in. za kontakty z okupantem i informowanie go o liczebności mieszkańców. Niemcy nie podejrzewali, że mężczyzna, znany w konspiracji jako „Jastrząb”, był członkiem Związku Walki Zbrojnej, późniejszej Armii Krajowej. Nie mieli pojęcia, że to on był jednym z głównych organizatorów akcji „Żegota”. W Gorlicach, wykorzystując zajmowane stanowisko, zawyżał liczbę mieszkańców podawaną do spisu ludności, dzięki czemu znacznie zwiększała się pula kartek żywnościowych wyznaczanych przez Niemców. Nadwyżki żywnościowe przekazywano najbiedniejszym mieszkańcom, partyzantom i Żydom z pobliskiego getta. Rozprowadzaniem żywności zajmował się m.in. sklep Rubiniaków przy ul. Kościuszki 17.

W sierpniu 1942 r. Benisz podjął się opieki nad Żydówką Salą Honibag, uciekinierką z getta. Zorganizował dla niej bezpieczną kryjówkę u państwa Tokarskich, swoich znajomych. Przez dwa tygodnie dostarczał im żywność dla ukrywanej. Po tym czasie przetransportował ją do Zgromadzenia Sióstr Służebniczek Bogarodzicy Dziewicy Niepokalanego Poczęcia w Dominikowicach. Aresztowano go w październiku 1943 r., a wraz z nim zatrzymano również innych członków konspiracji gorlickiej. Źródła podają, że wraz z nim zamordowano jego dwóch synów – Mieczysława i Lecha. Mieli zostać zastrzeleni 19 października 1943 r. w Rozwadowie.

W 2010 r. Jan Benisz został pośmiertnie odznaczony przez Prezydenta RP Krzyżem Komandorskim Orderu Odrodzenia Polski. Został również uhonorowany przez Yad Vashem tytułem Sprawiedliwy wśród Narodów Świata.