天水市古为“邽县”。邽县（读作：guī）原本是邽戎地，在今甘肃天水市。公元前688年秦武公取其地，置邽县，后改为上邽县。公元前221，秦始皇置三十六郡时，上邽是陇西郡中一县。汉武帝时，置天水郡，上邽是其中一县，区划是今天水市区西南。

天水郡称呼始于汉武帝元鼎三年（前114年）。天水得名，源于“天河注水”的美丽传说。远在三千多年前，天水地区人烟稠密，屋宇毗连，“山水灵秀，林木密茂”。秦末汉初，长期的征战加上干旱，上邽城民不聊生。一天夜里，忽然狂风呼啸，雷电交加，一道金光闪耀，地上现出红光。顿时，大地连续震动，在轰隆隆巨响声中，裂开一条大缝。只见天上河水倾泻而下，注入裂开的大缝中，形成一湖，名曰“天水湖”。此湖水位稳定，水质纯净，甘冽醇厚，“春不涸，夏不溢，四季滢然”。人说这湖与天河相通，又叫它“天水井”。后来，这个传说被汉武帝听到了，他就给上邽北城的湖旁新设的这个郡，起名“天水郡”。从此，有了“天水”之名。