Urodził się w Ukrainie jako syn urzędnika kolejowego. Jego odrzucenie ideologii radzieckiej i form życia społecznego w ZSRR ukształtowało się już w dzieciństwie – wspominał w autobiografii Der Flug des weißen Raben: Von Sibirien nach Tschetschenien: Eine Lebensreise (Rowohlt 1997; wyd. polskie Lot białego kruka. Od Syberii po Czeczenię. Moja życiowa podróż, przekł. Paweł Wieczorek, Amber 1998). Dlatego porzucił pomysł zostania prawnikiem lub historykiem i wybrał karierę, która wydawała mu się politycznie mniej niebezpieczna. W 1954 r. ukończył biologię na Uniwersytecie Moskiewskim, a dziesięć lat później uzyskał tam doktorat z biofizyki. W latach 1965–1969 kierował Katedrą Międzywydziałowego Laboratorium Metod Matematycznych na Wydziale Biologii. Był autorem ponad 60. publikacji naukowych, głównie z zakresu elektrofizjologii tkanki mięśnia sercowego. Jego starcie z władzą radziecką miało początkowo charakter naukowy. Walcząc z dominującymi teoriami agrobiologa Trofima Łysenki, zdał sobie bowiem sprawę, że radziecka nauka biologiczna jest nie mniej zależna od ideologii niż nauki humanistyczne. Był jednym z autorów listu do dziekana Wydziału Biologii o potrzebie radykalnej rewizji uniwersyteckich kursów genetyki, tak aby odzwierciedlały różne naukowe punkty widzenia. Pod naciskiem funkcjonariuszy partyjnych i Komsomołu większość sygnatariuszy wycofała swoje nazwiska: Kowalow należał do nielicznych, którzy tego nie zrobili. W 1969 r. założył Grupę Inicjatywną dla Obrony Praw Człowieka – pierwszą tego typu organizację w ZSRR. Od tego czasu był stale przesłuchiwany i poddawany rewizjom. Wraz z kolegą, przyjacielem i „wspólnikiem” Aleksandrem Ławutem został także zmuszony do opuszczenia uniwersytetu (dostał pracę jako badacz w Stacji Doświadczalnej Hodowli Ryb i Rekultywacji). Na początku 1972 r. dołączył do grona przygotowującego biuletyn informacyjny wydawany przez grupę obrońców praw człowieka „Kronika Wydarzeń Bieżących” (wśród redaktorów znaleźli się m.in. poetka Natalia Gorbaniewska i dysydencki generał Petro Hryhorenko). Wkrótce został jego redaktorem naczelnym. Za tę działalność aresztowano go w grudniu 1974 r. pod zarzutem „propagandy i agitacji antyradzieckiej”. Został skazany na 7 lat łagru i 3 lata zesłania na Kołymie. Do Moskwy udało mu się powrócić w 1986 r. dzięki pierestrojce zainicjowanej przez Michaiła Gorbaczowa. Później Kowalow uczestniczył w założeniu ważnych organizacji i inicjatyw humanitarnych, takich jak Stowarzyszenie MEMORIAŁ (którego był wiceprezesem od 1990 r. z Lwem Razgonem), zajmujące się pamięcią i rehabilitacją ofiar represji politycznych w ZSRR. W latach 1990–2003 był posłem do Dumy Państwowej. W 1993 r. współtworzył ruch, a następnie partię polityczną, Wybór Rosji (później Demokratyczny Wybór Rosji). Należał do najbardziej zdecydowanych przeciwników pierwszej wojny w Czeczenii (1994–1996). W 1996 r. zrezygnował z przewodniczenia Komisji Praw Człowieka wspieranej przez ówczesnego prezydenta Rosji Borysa Jelcyna, po opublikowaniu listu otwartego oskarżającego go o autorytaryzm. W 2010 r. był jednym z sygnatariuszy internetowej akcji zbierania podpisów „Putin zrezygnuj”: „Despotyzm jako model zarządzania jest celem, ideałem tej cynicznej, źle skonstruowanej i beznadziejnej struktury władzy – pisali autorzy. – Taki ideał nie jest nowy dla przywódców współczesnej Rosji, którzy wywodzą się wprost z KGB. Po prostu powrócili do zawodów, które wykonywali w czasach reżimu sowieckiego. Jednak nie to jest największym problemem w Rosji, ale to, że wciąż nie ma społeczeństwa obywatelskiego, które mogłoby odgrywać rolę gospodarza. Dlatego mamy takich przywódców, na jakich zasługujemy: agresywnych, napuszonych, ale też niezdolnych i słabych”. Niestrudzony krytyk i przeciwnik oligarchicznej polityki Władimira Putina – podobnie jak jego przyjaciółka, dziennikarka Anna Politkowska zamordowana za relacjonowanie okrucieństw wojny w Czeczenii – Kowalow odważnie stawiał na poszanowanie praw człowieka jako podstawę istnienia jakiejkolwiek organizacji politycznej: „Rosja nigdy nie była tam, gdzie teraz zmierza – mówił w wywiadzie dla „Avvenire” (10 października 2006). – Można by powiedzieć, że w prostej linii cofa się do okresu sowieckiego, ale czasy się zmieniły, nie da się odtworzyć gułagów ani cenzury państwowej. Zmieniają się więc metody, ale podstawowa idea pozostaje ta sama. [...] Radziecka koncepcja władzy, którą odtwarza Putin, to koncepcja państwa jako wartości samej w sobie, niemalże koncepcja metafizyczna”. W książce Pragmatyka idealizmu politycznego (1999), zawierającej jego główne wystąpienia, Kowalow przekonywał: „Widzę tylko jedno wyjście z naszej tragicznej sytuacji, niewiarygodnie trudne, ale bez rozlewu krwi: zmuszenie rządzących do otwartego dialogu z opozycją, która właśnie się tworzy (i która jest niestety wciąż rozdrobniona i nieskuteczna). Alternatywy dla tego nierealnego rozwiązania są nieprzewidywalne i jeszcze straszniejsze: faszystowskie powstania, chaos i dziki totalitaryzm”. W 2018 r. Siergiej Kowalow otrzymał tytuł doktora honoris causa Uniwersytetu Warszawskiego. „Jest Pan dzisiaj dla świata, dla wielu Rosjan i Polaków, jednym z najważniejszych symboli wytrwałej walki o prawa człowieka, jak również przykładem odwagi i konsekwencji w przeciwstawianiu się autorytarnym zapędom władzy. […] – napisał z tej okazji Rzecznik Praw Obywatelskich dr Adam Bodnar. – Wszystko to, co Pan robi [...]. Dowodzi bowiem, że w każdych warunkach społecznych i politycznych można skutecznie walczyć o ludzką godność, stanowczo reagować na nadużycia władzy i bronić prześladowanych”. Francesco M. Cataluccio, Gariwo.net